本期选取 arXiv API 返回的 2026 年 10 月 15 日论文,关注多模态系统如何获得更稳定的空间判断、更低的闭环延迟和更长的视觉记忆。实验数字均归因于论文作者。
1. DK-VLM:让几何进入注意力位置
论文:DK-VLM: Geometry as Position for Spatial Reasoning in Vision-Language Models · HF Papers · 提交于 2026-10-15
问题。 VLM 在跨视角理解三维关系、随观察者移动更新判断时仍不稳定;把 3D 重建特征直接融合进视觉 token,又会遇到几何与预训练语义表示的对齐问题。
方法亮点。 DK-VLM 使用 Dual-Kernel Attention:语义核保留模型原有注意力和位置编码,几何核则用 3D 点、相机位姿、点位移和相对视角变化调制注意力,再由门控融合。作者还提出 Reference-Frame Composition 监督,训练模型在连续判断中更新参考系。
证据。 摘要称 DK-VLM-8B 在六个空间基准上取得最高平均分,并在 VSI-Bench 与 ReVSI-32 上分别达到 74.33 和 58.28;RC 监督进一步改善多步空间推理。
边界。 这些是作者报告的基准结果,摘要没有展开相机位姿噪声、不同 3D 重建质量下的完整消融。
我的判断。 把几何作为注意力中的位置条件,可能比把外部 3D 特征粗略拼接进视觉 token 更贴近 VLM 的原生计算接口。
2. FastVLA:按任务动态压缩视觉 token
论文:FastVLA: Task-Conditioned and Temporally Adaptive Visual Token Compression for Efficient Vision-Language-Action Models · HF Papers · 提交于 2026-10-15
问题。 VLA 在每个时间步编码高分辨率、多视角图像,视觉 token 会主导 Transformer 的计算与延迟;固定压缩率又可能删掉当前动作需要的区域。
方法亮点。 FastVLA 用任务到视觉的注意力估计 token 重要性,并用重要性分布的均匀程度自适应决定压缩率;方法无需训练,带有在线滑动窗口校准。
证据。 作者在 OpenVLA、OpenVLA-OFT 和 CogACT 上测试,并加入 LIBERO、SIMPLER 与实体 Franka Research 3。摘要报告仿真中 LLM 主干 FLOPs 减少 35%–59%、动作延迟减少 9%–32%;实体机器人端到端延迟减少 20%,成功率保持可比。
边界。 加速幅度取决于主干模型、硬件和任务;“成功率可比”不能替代逐任务结果与长期闭环稳定性。
我的判断。 VLA 的视觉压缩关键不是平均显著性,而是当前动作真正需要哪些视觉证据。
3. REKI:用 register token 保存近期状态
论文:REKI: Registering Knowledge in VLAs · HF Papers · 提交于 2026-10-15
问题。 小型 VLA 需要在有限计算预算下利用近期观测,否则连续控制容易丢失上下文并出现姿态振荡。
方法亮点。 REKI 是 2.4B VLA,由 VLM 和 flow-matching action expert 组成。作者在动作专家缓存中保留少量 register token,用它们概括每帧 VLM 输出,并让这些摘要留在专家缓存中形成低成本记忆。训练数据来自公开的机器人、人的第一视角和视觉语言数据。
证据。 摘要称 REKI 在 LIBERO-Plus、RoboTwin Clean2Rand 和 RoboCasa365 上只被约两倍规模的模型超过;在仿真和真实机器人上,记忆机制让姿态振荡约减少四倍。
边界。 结果来自作者列出的基准与实验,摘要未给出每项任务的完整分数,也未展开公开数据混合比例对结果的影响。
我的判断。 对连续动作而言,轻量短期记忆可能比单纯扩大 backbone 更直接地改善时序一致性。
4. MaLoW:把长时历史写进权重
论文:Memory as Weights: Internalizing Long-Term History for Streaming Videos · HF Papers · 提交于 2026-10-15
问题。 流式 VLM 需要持续整合过去的视频,同时响应当前观察和问题;传统记忆通常压缩、检索或缓存历史,让历史与当前画面争夺有限上下文。
方法亮点。 MaLoW 用循环 HyperNetwork 把新的视频观察逐步合并为固定大小的 LoRA 权重,使历史被内部化,而当前观察仍作为输入。作者同时构建 MaLoW-Instruct,包含 5.6 万个视频上的 38.1 万个问答对。
证据。 在 OVO-Bench 的 backward split 上,作者称 MaLoW 相比既有记忆方法、在不同视频 backbone 下提升 3.9%–11.8%;在 Simpler WidowX 上,动作成功率提升 9.3%。
边界。 这些数字是作者在指定基准和设置下的结果;将历史写入参数是否会造成错误记忆累积、如何处理分布突变,摘要没有回答。
我的判断。 “记忆即权重”减少了上下文回放成本,但也把记忆污染和遗忘控制从检索问题变成了参数更新问题。
5. CoWorld Reasoner:让视频世界模型成为工具
论文:CoWorld Reasoner: Agentic Multimodal Reasoning with the Evolving Video World Model-Driven Harness · HF Papers · 提交于 2026-10-15
问题。 VLM 需要对运动、动作和视角变化做时空推理,但现有视频世界模型常被固定在预定义的视觉想象流程中,例如新视角合成。
方法亮点。 CoWorld Reasoner 把视频世界模型包装成提供多种视觉操作的工具,由技能引导 VLM 决定是否想象、选择操作、构造生成请求并解释视觉证据。作者还提出 Harness Co-Evolution,根据执行反馈共同修订工具、技能和执行代码,而不更新模型权重。
证据。 摘要称该框架在七个空间、时间因果和感知推理基准上优于使用同一 VLM 的直接推理;最强版本在 MMSI 和 ERQA 上的相对准确率分别提升 11.8% 和 13.0%。
边界。 世界模型生成的视觉证据本身可能带来幻觉或误差放大;摘要中的增益来自特定工具、技能和基准组合,不能直接等同于现实环境中的可靠规划。
我的判断。 多模态推理的下一步可能不是让 VLM 记住更多视觉内容,而是让它学会在不确定时调用合适的视觉模拟工具。
今日阅读线索
这批工作把 VLM/VLA 的瓶颈从“能不能看懂”推进到“能否在正确的时间、以合适的计算量、保持历史并采取动作”。DK-VLM 处理几何接口,FastVLA 约束实时成本,REKI 和 MaLoW 分别处理短期与长期记忆,CoWorld Reasoner 则把世界模型变成可调用的推理工具。交叉阅读时应重点看:效率优化是否保持空间能力,记忆是否会累积错误,以及基准增益能否迁移到长时程真实任务。
数据来源
本期论文元数据与摘要来自 arXiv API;论文编号、发布日期和数字均按摘要核对,未补写摘要未给出的实验细节。