本期选取 arXiv 最新可检索批次中 10 月 8 日提交的 5 篇视觉语言、具身智能与多模态感知论文。数字只引用作者摘要,未做独立复现。
1. VersaCamVLA:相机变化不应摧毁操作策略
论文:VersaCamVLA: Camera-Configurable VLA Policies for Robotic Manipulation · HF Papers · 提交于 2026-10-08
问题。 VLA 通常依赖训练时固定的相机数量和姿态,部署时更换相机就容易失效。
方法亮点。 VersaCamVLA 将任意数量、带位姿的 RGB 视图映射为固定大小的 scene tokens,再把它们作为补充视觉条件接入预训练 VLA;作者还用多信号目标视图预测和 Wrist-Augmented Pose Sampling 获取视角多样性,不依赖显式 3D 传感或新视角渲染。
证据。 作者称,模型在 RoboTwin、LIBERO 和真实机器人平台上持续优于既有 VLA 与直接多视图基线,并在不同相机数量及未见相机姿态下保持稳健。
边界。 摘要没有给出各平台的绝对成功率、遮挡条件或额外训练成本。
我的判断。 把相机配置抽象成可变输入接口,可能比给每种硬件单独训练策略更有迁移价值,但收益仍取决于视角覆盖。
2. GPD:把 3D 几何变成训练期特权
论文:Distilling Routed 3D Privilege for Spatial Reasoning in Vision-Language Models · HF Papers · 提交于 2026-10-08
问题。 RGB 图像不直接提供几何证据,只在最终答案上给奖励也难以纠正深度或方向判断。
方法亮点。 GPD 在训练时把深度、语义和鸟瞰视角信息渲染成紧凑文本,作为教师侧的几何特权,并通过问题条件路由送入教师;部署模型仍只看 RGB。作者把特权 KL 施加在错误轨迹上,并与 GRPO 结合。
证据。 摘要报告 4B 模型在 VSI-Bench 上得分 57.1,在 MindCube、SPARBench、MMSI-Bench 和 ViewSpatial 上平均 37.6;消融结果支持问题条件路由及只对错误轨迹蒸馏。
边界。 结果来自作者的训练和评测设置;摘要没有展开 3D 数据生成成本、部署延迟和各场景分项结果。
我的判断。 这条路线的关键不是让部署模型携带 3D 模块,而是把几何证据变成纠错信号,保持推理侧轻量。
3. ContourVLA:让分割变成闭环动作
论文:ContourVLA: A Closed-Loop Perception-Action Contour Policy for Generalized Referring Expression Segmentation · HF Papers · 提交于 2026-10-08
问题。 广义指代表达式分割既要识别数量可变的目标,又要精确描出边界;静态特征接口和单次 mask 预测难以持续修正几何误差。
方法亮点。 ContourVLA 把可编辑轮廓作为显式策略状态,用几何动作块更新轮廓;EASS 根据轮廓状态路由多层多模态特征,DECT-GRPO 则联合优化离散 grounding 与连续轮廓动作。
证据。 作者报告,相比最强评测基线,gIoU 在 gRefCOCO val、testA、testB 上分别提高 8.7、2.8、2.7 个百分点,并在 RefCOCO、RefCOCO+ 和 RefCOCOg 的八个划分上取得最高 mIoU。
边界。 摘要没有给出推理步数、额外标注成本或复杂遮挡场景的分项结果。
我的判断。 对需要精确边界的视觉任务,显式的“可修改状态”比一次性输出更接近真实感知过程;代价是策略和奖励设计更复杂。
4. ViMoD:按推理阶段取回视觉证据
论文:Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning · HF Papers · 提交于 2026-10-08
问题。 高分辨率图像产生的长视觉 token 序列会让多步推理变贵;一次性压缩又可能丢掉后续阶段才需要的细节。
方法亮点。 ViMoD 用 DART 把区域 token 聚合成可回溯的粗粒度表示,再由 TRACE 结合解码历史,动态选择、保留或替换活跃的细粒度 token 组;冻结的主干仍可在需要时读取原始证据。
证据。 在 Qwen3-VL-4B 上,作者称 ViMoD 在 20% 目标视觉 token 预算下超过全部评测基线,平均归一化分数相比最强一次性基线提高 39.0%;额外可训练参数为冻结主干的 0.0546%。
边界。 这些数字来自作者摘要,尚不能说明不同图像分辨率、模型规模和更长推理链上的稳定性。
我的判断。 视觉压缩的方向正在从“一次压完”转向“需要时再取回”;这可能是降低多模态推理成本、又保留证据可达性的折中。
5. DVD:用动态向量统一 2D/3D 感知
论文:DVD: Dynamic Vector Decoding for Efficient MLLM-based Perception · HF Papers · 提交于 2026-10-08
问题。 文本坐标表示 token 开销高,固定范围量化又受范围和精度约束,尤其难覆盖空间范围不受限的 3D 感知。
方法亮点。 DVD 将 2D 框、2D mask 和 3D 框统一转换成 1D 向量序列,再映射为高维空间中的紧凑离散 token;轻量 de-tokenizer 将输出还原为原始 2D/3D 感知表示。
证据。 作者在 RefCOCO 系列、SUN-RGBD、KITTI、Hypersim 和 nuScenes 等 2D/3D 基准上报告更高的任务表现,并减少 token 开销与推理延迟。
边界。 摘要未给出各基准的绝对分数、压缩比例、延迟测量硬件或长尾坐标分布下的误差。
我的判断。 如果同一输出接口能覆盖 2D 和 3D,MLLM 感知模块会更容易接入机器人和自动驾驶系统;但离可部署还需要更细的速度、精度和失效分析。
今日阅读线索
五篇论文共同把重点从“增加视觉编码器”移向“改变感知接口”:相机变化被压成 scene tokens,3D 几何变成训练特权,分割通过轮廓状态闭环修正,视觉证据按推理阶段取回,2D/3D 输出则统一为动态向量。下一步值得核对的是跨相机、跨机器人和跨分辨率的迁移成本,而不是只看单一基准上的提升。