本期选取 arXiv 目前可检索到的最新相关批次,提交日期集中在 2026 年 10 月 9 日。接口暂未返回 10 月 10 日之后的新相关条目,因此以下内容按已索引摘要整理,数字均归因于论文作者。
1. SpatialASM:让模型主动换视角
论文:SpatialASM: Internalizing Active Mentalization for Spatial Reasoning · HF Papers · 提交于 2026-10-09
问题。 复杂空间推理常需要从任务相关视角重新观察场景,但多数 LVLM 不会主动规划视角或进行场景想象。
方法亮点。 SpatialASM 用 allocentric 新视角生成器把假设视角锚定到视觉证据,并提供两类训练信号:显式 ASM 轨迹教模型何时、如何调用视角规划;自动构造的视角转换任务则强化 viewpoint-conditioned scene imagination。
证据。 作者在覆盖感知、多图、跨视角和视角变换的 7 个基准上测试 4 个 LVLM backbone,报告平均准确率提升,同时保留原有通用视觉能力。
边界。 摘要没有给出各基准绝对分数、视角生成成本或新视角质量的独立评测。
我的判断。 空间推理的关键可能不是增加更多视觉 token,而是让模型学会在证据不足时主动改变观察方式。
2. Splat2Act:从场景扫描到个性化操作
论文:Splat2Act: From Captured Scenes to Personalized VLA Manipulation · HF Papers · 提交于 2026-10-09
问题。 通用操作策略迁移到用户家庭或办公室时可能完全失效,而为每个环境收集真实示范成本很高;作者称,π0.5 在其捕获部署场景中的初始拾取成功率为 0%。
方法亮点。 Splat2Act 只需手机扫描场景和用户物体图像,便用 3D Gaussian Splatting 与碰撞几何构建建筑级数字孪生,自动发现容器、生成拾取任务,再用仿真 oracle 产生示范并进行两阶段个性化。
证据。 论文使用 101 个扫描校园环境,生成 852 个容器和超过 68000 条拾取示范;作者报告目标场景个性化策略的聚合成功率为 62.5%,在真实 Stretch 3 的 12 个任务子集上为 63.9%,对应仿真结果为 66.7%。
边界。 这些是作者的仿真与实机设置结果;摘要没有说明手机扫描失败率、场景变化下的重建成本,以及 12 个任务之外的泛化。
我的判断。 “少量现实采集 + 大量仿真示范”比逐场景人工遥操作更接近可扩展的 VLA 个性化,但数字孪生质量会成为新的瓶颈。
3. OccludeBench:模型能找回被遮住的物体吗
论文:OccludeBench: Can VLMs Find What’s Missing? · HF Papers · 提交于 2026-10-09
问题。 图像中物体完全被遮挡时,模型需要从阴影、反射等直接物理线索,或从场景上下文推断缺失内容。
方法亮点。 OccludeBench 区分 direct 与 inferential 两类案例,并用 OccludeTrace 四阶段诊断定位失败发生在哪个环节;作者还测试先生成候选物体、再与可见物理线索对照的 inpaint-then-confront 干预。
证据。 五个 VLM 在 direct 案例上的平均准确率为 42.7%,inferential 案例为 62.7%,相差 20.0 个百分点;人类对应为 63.4% 与 68.5%。带图像生成能力的模型采用干预后,差异降到统计上不显著。
边界。 基准是人工整理的受控集合,不能代表开放世界遮挡;摘要也没有说明干预增加的推理时间和生成错误率。
我的判断。 模型不是“完全看不见”,而是难以把局部物理投影和全图对象对应起来;诊断集比单一总分更能揭示这个缺口。
4. SquintBench:细小文字的空间选择瓶颈
论文:When MLLMs miss what humans read: diagnosing and learning to read squint text · HF Papers · 提交于 2026-10-09
问题。 人眼通过眯眼仍能读到的图中文字,MLLM 可能直接判断“没有文字”;问题既涉及视觉 token 预算,也涉及正确区域的选择。
方法亮点。 论文构建包含 1076 张生产审核图像的 SquintBench 与受控的 SquintCtrl,并提出 Squint OPSD:冻结教师获得缩小视图和真实转写作为特权上下文,再沿 on-policy 轨迹监督学生;推理时学生只看原图。
证据。 作者报告 Squint OPSD 在 SquintBench 上达到 88.61 ANLS,高于未适配 backbone 的 26.50、原图上的最佳通用模型 24.44,以及缩小视图下现成模型的最佳 68.60。
边界。 该结果来自作者的数据和训练方案;摘要没有展开不同语言、字体、压缩失真与真实 OCR 系统的比较。
我的判断。 这项工作把“看不清”拆成了“区域没选对”和“字形没编码好”,说明增加 token 并不必然解决细粒度视觉读取。
5. Dual-Stream Memory:让 VLA 记住执行阶段
论文:Dual-Stream Memory for Vision-Language-Action Policies · HF Papers · 提交于 2026-10-09
问题。 机器人执行中,关键视觉证据可能已经离开当前视野;策略既要跟踪任务进度,也要按需找回历史帧。
方法亮点。 双流记忆用 Gated DeltaNet 将历史压成一个 temporal token,并用进度预测和动作条件特征重建监督;另一路检索超过固定相关性阈值的帧,以每帧 16 个空间 token 做多尺度融合。
证据。 在 16 个 RoboMME 任务上,完整模型平均成功率为 49.22%,高于 FrameSamp+Modul 参考的 44.51%;4 个真实机器人任务平均成功率为 62.5%,参考为 37.5%。作者指出,杯子交换场景仍暴露身份跟踪问题。
边界。 相关性阈值、历史长度和不同传感器设置的敏感性,摘要没有给出;真实机器人任务数量也较少。
我的判断。 对 VLA 来说,记忆不是简单保存更多帧,而是把执行上下文与可检索视觉证据分工;身份持续跟踪仍是落地难点。
今日阅读线索
五篇论文都在回答同一个问题:模型如何获得“当前画面之外”的证据。SpatialASM 主动生成视角,Splat2Act 用数字孪生扩展训练环境,OccludeBench 诊断遮挡推理,SquintBench 纠正细小文字的区域选择,Dual-Stream Memory 则把历史视觉按执行阶段取回。VLM 的下一步竞争,可能从更大的编码器转向更好的证据调度。