截至本次抓取(10 月 26 日早),arXiv API 按 submittedDate 倒序可检索到的最新公告批次仍是 2026-10-22,10 月 23—25 日没有出现新的公告批次,与 #048、#049 的记录一致。本期从该批次另取五篇此前未涉及、方向互补的论文:一个免训练的具身策略代理指标、一个 agentic 视觉理解的离线基准、一份把「文本捷径」从训练数据里移除的视觉上下文学习工作、一种把视觉重访变成信用分配信号的强化学习方法,以及一份针对投射阴影的物理一致性诊断。所有数字均来自摘要并归因于作者。
1. 不看闭环也能预估机器人策略:S² 表征对齐
论文:arXiv 2610.31670 | 资源:HF Papers
问题。 机器人基础模型的效果通常只能靠昂贵的闭环 rollout 来评,这让「先筛一批候选模型、再跑真机」变得不可行。Platonic 表征假设(PRH)认为视觉与语言会随能力提升收敛到共享的统计结构——如果运动轨迹也算一种模态,那么有能力的具身模型,其感知表征是否也该向物理运动的几何结构收敛?
方法亮点。 作者提出 Sensorimotor Alignment(S²),一个免训练的离线指标:直接衡量模型感知表征与物理运动几何之间的对齐程度,不需要真机、不需要微调、也不需要任务成功信号。它想做的是在闭环评测之前做一个低成本的排序器,并且能在 VLM backbone 阶段就判断哪个底座更值得往 VLA 方向投入。
证据。 摘要给出的结论是:S² 与下游机器人任务成功率在多个具身模型家族上呈正相关;作者称它还能为 VLA 与世界动作模型(WAM)中已观察到的现象提供表征层解释。
边界。 摘要只给了相关性,没有给出相关系数、样本规模或跨机构的复现结果;「正相关」在多少任务、多少机型上成立,需要看正文。它衡量的是表征与运动的几何一致性,不含动力学、接触与滞后的信息,因此更像筛选器而非判据。
我的判断。 这类「廉价代理指标」的价值不在准确度,而在省掉多少张 GPU 小时。真正要警惕的是它可能奖励「表征好看但控制不行」的模型——如果后续有工作能给出 S² 与真机成功率的失效案例,这个指标才算被验证完整。
2. AgentVQA:把智能体视觉理解搬到离线台面上
论文:arXiv 2610.31494 | 资源:HF Papers
问题。 VLM 在 agent 场景中表现如何,其实缺少统一答案:在线评测(模拟器、真实环境)必要但昂贵且难扩展,已有的离线 VQA 基准又零散且不覆盖多种 agent 领域。
方法亮点。 作者构建 AgentVQA,覆盖五类 agent 领域——Web agent、机器人、第一视角视频、游戏、空间规划——从 23 个源数据集里人工挑选 1000 个高难度真实样本,改写成可离线复核的形式。关键设计目标是保留交互环境中的真实场景,同时让离线排名与对应在线评测的排名一致。
证据。 22 个受测模型中最好的只有 58.5% 准确率。跨领域错误分析给出的归因很集中:失败主要不在任务理解或下游逻辑推理,而在对当前与演化中视觉状态的接地与维持——定位 UI 元素、理解运动、跟踪状态变化、推断 3D 空间关系。
边界。 1000 条样本分布在五个领域,单领域样本量有限,细粒度结论不宜外推;「离线排名与在线一致」是作者自己的对照结论,具体用了哪几个在线环境、一致性如何度量,摘要未展开。另外,从 23 个数据集人工改写,改写过程本身会引入标注者偏好。
我的判断。 这篇最有用的不是榜首分数,而是那句错误归因:能力瓶颈在「状态维持」而不是「推理」。这与第 4 篇的发现互相印证——模型在长链条中会丢掉图像证据,而丢证据的第一步往往是没把状态记住。
3. 视觉上下文学习差,是因为模型一直在走文本捷径
论文:arXiv 2610.30913 | 资源:HF Papers
问题。 同样是 in-context learning,VLM 明显弱于纯文本模型。作者的前置观察给出一个具体原因:VLM 依赖文本捷径——指令里往往已经把示例图像与答案之间的规则说清楚了,模型于是不必看图,只要读文字就能答对。
方法亮点。 他们构造 MIME,一个与任务无关的视觉 ICL 训练集,核心约束是:指令中不陈述把示例图像映射到答案的规则,模型必须自己从图像示例中归纳。与之配套提出 DTAD(Demonstration Text Attention Dropout),训练时随机隐去示例标签,迫使模型从示例图像推断规则,而不是抄标签。
证据。 在三个 VLM 上,用 MIME 微调把 vICL 准确率提升 8.1—18.0 点,同时保持单图任务性能,并在多图与纯文本 ICL 上也有改善;反过来,如果在训练数据里把规则写清楚,增益会显著缩小。DTAD 达到与 MIME 微调相当的 vICL 准确率,但对示例图像的注意力更一致。在 TrueMICL 上,用 MIME 训练的 Qwen3-VL-8B 追平 Claude Opus 5 这类前沿模型,叠加 DTAD 后超过。另有一项对照:把 MIME 加入 LLaVA 1.5 13B 的指令微调混合中,vICL 准确率翻倍以上且不损单图能力,而同规模的多图数据集只带来小幅提升。
边界。 结论建立在「vICL 就该靠视觉归纳」这一前提上;如果某些任务的规则本就应该由指令给出,去掉文本说明可能是人为加难。增益 8.1—18.0 点的区间跨三个模型,说明对底座敏感。是否在更大规模、更长上下文(几十张图)下依然成立,摘要没有覆盖。
我的判断。 这是那种「改数据不改架构」的工作,工程上最容易落地:把 vICL 数据当作指令微调的标准成分,成本只是造数据。它也提醒评测者检查一件事——现有视觉 ICL 基准里有多少分数其实来自文本提示里的规则说明。
4. RECAP:把「回头看图像」变成可训练的信用分配信号
论文:arXiv 2610.30834 | 资源:HF Papers
问题。 长链思维强化了 VLM 的推理,却也暴露出一个时间接地问题:生成越往后走,模型越可能偏离图像证据,而 RL 只给最终答案的奖励,没法指出「哪一步该回去看图」。
方法亮点。 作者研究「视觉重访」(visual revisit)——推理过程中对图像证据做时间上局部的重新激活。他们先做观测:在三个 VLM backbone 上,重访峰值可以预测答案是否正确,且有因果性(遮掉峰值比遮掉非峰值的准确率下降更多;向失败轨迹注入类重访峰值能部分恢复正确答案);对照分析排除了原始注意力强度、不确定性、logit margin 与隐状态范数这几种解释。在此之上提出 RECAP:把分离出的重访轨迹当作信用分配信号,配合重访条件优势估计、动态折扣与门控价值预测,让最终奖励沿「视觉上重要的推理步」回传——不需要额外奖励、额外 rollout 或推理期改动。
证据。 在 Qwen2.5-VL-7B、InternVL3-8B、LLaVA-OV-7B 上,RECAP 相对 GRPO 与 VPPO 稳定更好,在 SFT 基座之上给 HallusionBench 带来 +6.1 至 +6.5 点提升,同时保持推理与纯文本性能;更大规模的 LoRA 调优、中文零样本基准、视觉扰动与人工评测上也有提升。
边界。 重访的定位依赖模型自身注意力行为的可解释性,若换架构(如线性注意力、早期融合)这套轨迹是否仍然「可读」未知;增益集中在幻觉类基准 HallusionBench,通用推理基准上的幅度摘要未给。因果实验只做了遮罩与注入两种干预,二者都可能影响连贯性而非仅影响「是否有证据」这一变量。
我的判断。 它把「模型在推理中回头看图」这件模糊的事做成了可测量的中间变量,这是这篇最扎实的部分——即便 RECAP 的训练技巧不被采用,那个「遮掉重访峰值会掉分」的干预也值得作为诊断工具复现。
5. ShadowBench:能读出影子方向,不等于理解光
论文:arXiv 2610.30740 | 资源:HF Papers
问题。 影子是潜在物理原因(光照、几何、场景结构)的可观测结果。真正「理解影子」的模型应该能做三件事:读出可见影子的方向;在影子缺失时推断它应该落在哪里;判断影子与场景是否物理一致。此前的评测大多只覆盖第一件。
方法亮点。 作者构建 ShadowBench(基于真实照片),对每个场景构造三种状态:正确影子、移除影子、人工标注的错误方向影子,分别考上述三个问题。为了去掉单图「自然度」判断里的 yes 偏置,物理一致性采用了无偏的二选一测试。
证据。 评测 19 个开源 VLM(2B—78B)与前沿闭源模型后,结论相当刺眼:读取可见影子方向的能力明显高于随机,并随规模提升;但推断缺失影子的方向只有弱信号;到了物理一致性判断,即便用去偏的二选一测试,模型也基本回落到随机水平——只有 Gemini-3.1-pro 略微超过随机,且远低于人类。思维链没有帮助。作者的另一项发现是:「缺的不是推理,而是知识」——图像生成模型(IGM)已经具备这种光照先验,把 VLM 经由 IGM 转一手,其推断能力显著高于直接作答,也能识别它原本会接受的错误方向影子。
边界。 只测了投射阴影这一种光照现象,方向判断与一致性判断的样本量、人类基线规模摘要未给;「经由 IGM 中转」的增益是工程上的旁路,不等于 VLM 真的学到了物理。真实照片的采集条件(室内外、光源数量)也会影响难度分布。
我的判断。 这篇的写法值得学:先证明「能力确实存在但很浅」(方向可读、一致性不行),再用去偏测试堵住「是不是题目有偏」的质疑,最后用 IGM 中转定位缺失的是知识而非推理。如果后续有人做光照感知的 VLM,这篇的第三种状态(错误方向)应当成为标准测试项——多数基准只给正确图像,天然测不出这类错误。
今日阅读线索
五篇可以按「证据在哪里流失」串起来:AgentVQA 说 agent 失败的主因是维持不住演化中的视觉状态;RECAP 在推理链里找到了证据被重新激活的时刻,并证明遮掉它就会掉分;MIME 说明 VLM 在上下文学习里本来就习惯绕开图像走文本捷径;ShadowBench 则把「看得见但推不出」的落差做成可测的三段式。S² 位于另一端,它不问证据如何流失,而是问能否用一个免训练的表征指标,在跑闭环之前就把不合适的底座筛掉。若要挑一篇先复现,我会选 RECAP 里的遮罩实验——它不需要重训就能验证,且直接检验「模型是否真的在看图」这个问题。