截至本次抓取（10 月 29 日早），arXiv API 按 submittedDate 倒序可检索到的最新公告批次仍是 2026-10-27 17:59 UTC（即 10 月 28 日公告的批次）；cs.CV、cs.AI、cs.CL 三个分类的最高时间戳一致，说明 10 月 28 日夜间的新批次尚未进入索引，与 #052 的观察相同。本期从该批次取五篇方向互补的论文：一篇检验离散视觉 token 是否真的「有损」、一篇把 VLA 与 WAM 的路线之争拆成三个可分离选择、一个 744M 的开放多模态嵌入模型、一篇追问「拒答」到底是识别到证据不足还是别的机制、以及一个把代码当作视频描述的基准。除第 5 篇外，数字均取自摘要或论文正文并归因于作者。

1. 离散视觉 token 真的「有损」吗：FVQ 与比特预算

论文：arXiv 2610.37662 ｜ 资源：HF Papers ｜ 代码：GitHub ｜ 项目页

问题。 主流看法是量化误差必然带来语义损失，因此离散视觉 token 在语义保真度上永远比不上连续表示，连续特征是「内在上界」。这个假设直接决定了原生多模态模型要不要走「视觉也用 next-token prediction」这条路。

方法亮点。 作者用多模态理解作为语义保真度的代理，先检验假设本身，再改量化器。他们发现量化误差是个不可靠的指标：误差更大的离散表示反而理解得更好，真正决定下游表现的是离散索引的有效比特预算。而现有量化器在加大码本后会饱和——新增码本贡献的语义信息越来越少。为此提出 Factorized Vector Quantization：把视觉特征拆成互补的、固定维度的多个视图，用对称的并行码本分别量化，使得比特预算增加时性能仍持续上升。

证据。 在工业级多模态数据上训练后，作者称其模型在离散表示模型中取得 SOTA，在九项指标的平均值上比 UniAR 高 22.8%、比 Emu3-Chat 高 59.2%；并称这是首个能与 Qwen3-VL 这类强连续表示模型竞争、且在细粒度 OCR 上不落下风的离散表示模型，最终在多模态理解上「追平」连续表示。

边界。 「语义保真度」被等价为「多模态理解分数」，这一定义本身就是论文的立场：它衡量的是下游任务能不能做对，而不是表征保留了多少原始信息，后者可能仍存在损失。主要对比对象是 UniAR 与 Emu3-Chat，是否与同代最强的离散方案（例如更新的统一 tokenizer）比较，摘要未说明。九项指标的平均值掩盖了单项分布，OCR 之外的细粒度任务是否同样追平，需要看表格。「工业级多模态数据」的构成与规模未在摘要给出，难以判断可复现性。

我的判断。 这篇与 #052 那篇「概念方向局部线性、跨域碎裂」是一对：都在拆「表征不如连续/不如人意」这类默认结论。它的实际含义是，离散视觉路线的天花板取决于工程上能不能把比特预算堆上去，而不是理论上必然有损——把「量化误差」换成「有效比特预算」这个指标替换，会改变一整批 tokenizer 的设计目标。工程上可以直接用的检查项：在选视觉 tokenizer 时，不要只看重建 PSNR 或量化误差，先测比特预算曲线是否还在上升，饱和点在哪。真正的悬念是成本：并行码本与更大比特预算意味着序列变长，长视频场景下这个代价是否可接受，摘要没有回答。

2. VLA 还是 WAM：把路线之争拆成三个可选开关

论文：arXiv 2610.37219 ｜ 资源：HF Papers ｜ 项目页

问题。 具身智能社区正在争论：控制策略应该继承视觉语言模型的预训练知识（VLA），还是继承视觉生成模型的知识（WAM，world-action model）。作者指出这场争论把三件可以分开的事捆在了一起——骨干初始化来自哪里、对未来观测施加什么目标、以及推理时是否保留为这个目标服务的机器。

方法亮点。 作者提出 Just Action Model（JAM）：一个预训练视觉骨干加一个动作专家，训练时同时用动作损失与「预见损失」（foresight loss）。关键设计是预见损失让当前观测的特征去预测冻结的未来编码，预测头在训练后丢弃，因此训练与推理都不涉及任何视觉生成，骨干可以自由选择。这样一来，「要不要世界模型」就变成了「要不要一个以冻结特征为目标的辅助损失」。

证据。 在 LIBERO、LIBERO-Plus 与 RoboTwin 上，JAM 优于与其对齐的 FastWAM、ImageWAM 版本：相对 FastWAM，成功率从 97.0%/55.3%/91.2% 提升到 98.2%/64.5%/91.4%（增幅最大的是 LIBERO-Plus 这一档）。使用缓存好的预见目标时，作者估计每个样本每次更新的在线训练 FLOPs 比 FastWAM 少 73%。作者还报告，生成器初始化与视觉语言初始化两种骨干都能获得较好的预见性能。

边界。 提升幅度并不均匀：两个基准上只有 0.2 与 1.2 个百分点，而 LIBERO-Plus 上多出 9.2 个百分点，说明收益高度依赖任务分布与难度，摘要未解释这个落差的来源。FLOPs 的 73% 是「估计值」，且是对比 FastWAM 的在线训练开销，不含数据采集与离线缓存成本。评测全部在仿真基准上，没有真机结果；LIBERO 系列已被大量工作刷过，分数饱和后的小幅差异容易受实现细节影响。四个作者、单一机构，尚无第三方复现。

我的判断。 这篇的价值是消歧，而不是刷新分数。它证明了三件事：未来监督有用；未来监督不必以生成未来图像的形式存在；生成式骨干与语言骨干都能承载这种监督。对做 VLA 的团队，这意味着不必在「要不要上世界模型」上做架构级赌注，先加一个以冻结特征为目标的辅助损失、把预测头在推理时丢掉，是成本最低的验证路径。与 #052 的 ZAP（把动作交给工具调用习惯）相比，一个在训练目标里加信号，一个在推理结构上做外置，两者都在说明「世界模型」这个词目前被过度架构化了。

3. EmbeddingGemma 2：744M 的统一多模态嵌入，可按需拆开跑

论文：arXiv 2610.37364 ｜ 资源：HF Papers ｜ 权重：Hugging Face、LiteRT

问题。 检索系统通常按模态各配一个嵌入模型：文本一个、图像一个、音频一个，跨模态检索靠对齐或重排缝合。真正需要「一段文字 + 一张图 + 一段录音」混在一起检索时，这类拼接会失效。

方法亮点。 EmbeddingGemma 2 把文本、图像、音频、视频以及它们的交错组合映射到同一个空间。结构上是模块化拼装：271M 的双向 transformer 骨干（含 embedder）+ 167M 视觉编码器 + 305M 音频编码器，共 744M；各模态编码器把媒体转成软 token 序列再进共享骨干，因此可以只加载需要的部分——纯文本 271M、视觉语言 439M、音频语言 577M。训练上用了简化的逐层嵌入，以及按模态与目标分阶段推进的多阶段课程。部署侧提供了几项实用开关：可调视觉 token 预算、可截断的嵌入维度、量化权重。

证据。 作者称在多模态嵌入基准上建立了新的 Pareto 前沿，同时优于专用模型与比它大 2–12 倍的模型；覆盖的评测包括 MTEB（多语言、英语、代码）、MIEB(lite)、MAEB 与 MMEB-v2。论文还给了关键设计选择的消融。

边界。 「Pareto 前沿」是按作者选定的基准组合定义的，摘要没有给任何绝对分数，因此无法判断与最强专用模型的实际差距是 1 分还是 10 分。2–12 倍参数量的对照未列具体模型清单。视频被列为支持的模态，但摘要未给视频检索的单独结果，视频这类长序列在 744M 规模下的表征能力仍需看表。模型开放权重，但训练数据构成与许可细节需查模型卡。

我的判断。 这是本期最「工程可用」的一篇：它没有提出新范式，而是把统一嵌入做到了可部署的尺寸，并且允许按模态拆开加载——这一点对端侧尤其重要，一个只做图文检索的应用没必要为音频编码器付 305M 参数和对应内存。把它与 #052 的 LFM3 并排看，趋势很清楚：小尺寸、模块化、可裁剪，正在成为开放权重模型的默认设计语言。需要提醒的是，统一空间的代价通常是单模态精度略降，做 RAG 的团队在换模型前应该先在自己的数据上跑一次同模态基线，而不是直接看 Pareto 曲线。

4. 模型拒答，是因为看见了证据不足，还是因为别的机制

论文：arXiv 2610.37430 ｜ 资源：HF Papers

问题。 部署多模态模型时我们希望它在图像信息不足时拒答。但拒答本身不是证据：模型可能因为安全策略拒答，也可能拒答却说不清缺了什么。用总体拒答率来衡量「模型知道自己不知道」，从一开始就可能量错了东西。

方法亮点。 作者在 MoHoBench 上把控制来源拆成三层，逐一干预：推理时指令（改变拒答的理由与位置，而不只是改写措辞）、后训练（SFT 与 DPO/ORPO/SimPO 对比）、以及内部激活（从自然作答与自然拒答的样本中导出一个「拒答方向」，在激活层做干预）。评测同时区分证据型拒答、安全型拒答与笼统拒答，并统计「混合响应」——同一段输出里既拒答又作答。

证据。 指令层：证据型与笼统拒答指令在全部 12 个「模型×位置」组合中把总拒答率抬高 18.4–45.2 个百分点，置信区间全部不含零；纯证据型拒答净增 15.4–46.8 个百分点。而安全型指令只带来 −2.3 到 +13.2 个百分点的变化，六个区间中有三个含零——说明起作用的是指令语义，而非多了一段提示词。位置效应因模型而异：把证据型指令放到问题之后，两个 InternVL 模型分别下降 7.6 与 8.1 个百分点，Qwen2.5-VL-7B 反而上升 14.9 个百分点。后训练层：SFT 与 ORPO 把无条件拒答率推到 83.9–94.9%、证据型指令下推到 96.7–99.9%；DPO 则高度依赖架构（C0 下 InternVL3-2B 为 40.4%、InternVL3-8B 为 31.1%、Qwen 为 88.7%）。但混合响应比例最高达 30.8%（InternVL3-2B + SFT）、33.2%（ORPO）、24.1%（Qwen + DPO），接近饱和的拒答率并不等于干净的弃答。激活层：单一方向在全部 21 个「模型×条件」中都提高拒答，幅度 1.1–15.1 个百分点，20/21 置信区间不含零，且未在可作答样本上造成明显误拒。

边界。 三个模型都是 2B–8B 规模，前沿大模型是否同样敏感未知。MoHoBench 的 900 道测试题覆盖四类「视觉信息不足」（上下文依赖、假前提、主观题、描述模糊），结论是否延伸到更细的缺失类型（例如部分遮挡、低分辨率）需要另测。激活方向的干预证明了「这条方向能因果影响行为」，但作者明确说明它不代表模型原本就是这么计算的。指令实验中的拒答理由由研究者撰写，模型对措辞的敏感度可能被低估。

我的判断。 这是本期方法论价值最高的一篇，也是 #052 那条主线（「系统知不知道自己没看懂」）的直接延续：那边证明 VGGT 的冻结特征里藏着失败预测信号，这边证明「拒答率」这个指标会把三件不同的事混成一件。对做评测的人，最该带走的是「原因感知、同样本」的评估方式——固定图文对、只改指令理由、同时看拒答与混合响应。对做后训练的人，最该警惕的是 SFT 把拒答推到 99% 时，三成输出其实是「拒答话术 + 勉强作答」，这在线上会被读成模型在幻觉。激活干预那条更有意思：小幅度、可迁移、不误伤可作答样本，正是一个「弃权开关」该有的样子。

5. CodeCap-Bench：代码能不能当视频描述

论文：arXiv 2610.37341 ｜ 资源：HF Papers

问题。 视频描述一直用自然语言，但精细的空间结构与时序动态很难用文字准确表达——写长了冗长，写短了歧义。作者提出「代码即视频描述」：用图形基元、布局规则与时间的函数来编码画面，好处是可执行、可渲染、可被程序化检验。

方法亮点。 先用实验比较两种描述在下游任务上的价值：以代码为描述做视频问答与视频重建，看是否比自然语言保留更多信息。再构造 CodeCap-Bench 来测模型能不能生成忠实的代码描述：323 个视频，覆盖五类结构化 2D 内容（桌面与应用界面、2D 游戏、视觉设计与媒体动画、数据与科学可视化、图标与抽象动效），带焦点与物体级时空标注；评测分三层——全局视觉相似度、物体级时空 IoU、细粒度信息保留（静态与动态分别计分），并额外统计「能不能跑出视频」的产出成功率。同时对比非 agent 单次生成与带渲染反馈的 agent 式迭代。

证据。 正文报告：代码描述在推理准确率与重建保真度上均优于自然语言描述。基准上最强的组合是 GPT-6-astra 配 Codex，总体保留 73.24、物体级时空 IoU 75.37，比第二名 Opus-5 配 Pi Agent 高 14.40 分。一个反差案例很说明问题：GPT-6-sol 配 Codex 的产出成功率是 100%，总体保留只有 51.34，而 GPT-6-astra 以 99.4% 的成功率拿到 73.24——能跑出来不等于跑得对。agent 式迭代普遍提高产出成功率但不一定提高保真度：Qwen3.8-max 配 Pi Agent 的成功率从 82.0% 升到 93.2%，总体保留从 44.67 升到 48.83。

边界。 基准只覆盖结构化 2D 内容，这三个字是硬约束：自然视频、人脸、复杂光照、3D 场景都不在范围内，而它们恰恰是自然语言描述目前最擅长的地方。「代码描述优于自然语言」的结论在作者自己设计的任务与指标上成立，重建保真度用的是渲染后的像素比较，等价于奖励「能被代码复现的画面」，天然偏向本方法。开源模型显著落后于闭源，但摘要与正文都没有给出完整的逐模型表格区间，难以判断差距是否来自工具调用能力而非代码生成能力。323 个视频分布在五类，每类样本量有限。

我的判断。 这篇的真正贡献是把「描述」从自然语言换成一种可验证的中间表示——这一点与 #052 的 VibeVideoBench 同源：两者都把视频生成/理解改写成「能不能交付一个可检验的东西」。对做 UI 自动化、图表复现、教学动画这类任务的团队，代码描述这条路现在就有实用价值，因为它把评估从「像不像」变成了可渲染可对齐的 IoU。但它不适合作为通用视频描述的替代方案，作者划的 2D 结构化范围应该被认真对待。最值得记的一句结论其实是那个 100% 成功率对 51.34 保真度的反差：在 agent 系统里，「跑通」和「做对」之间的差距，往往比模型能力的差距更大。

今日阅读线索

五篇并排看，主题是**「把模糊的判断换成可检验的量」**。

第 1 篇换掉了「量化误差」，代之以「有效比特预算」；第 4 篇换掉了「拒答率」，代之以「原因感知的同样本评估」；第 5 篇换掉了「描述像不像」，代之以「渲染出来能不能对齐」。三篇都在做同一件事：指出一个被广泛使用的代理指标其实量错了对象，然后给一个更贴近目标的替代。这类工作不发新模型，但会改掉一批实验设计与采购标准。

第 2 篇与第 3 篇则是「拆开」的两种方式。JAM 把 VLA/WAM 的路线之争拆成骨干初始化、训练目标、推理机器三个开关，并证明可以不生成任何画面而获得未来监督；EmbeddingGemma 2 把一个统一嵌入模型拆成可按模态加载的模块，让端侧只为需要的模态付费。一个拆概念，一个拆参数，动机相同：把不可选的整体变成可选的部分。

如果只精读一篇，我会选第 4 篇。它的结论最不讨巧——「拒答率高」既可能是识别到证据不足，也可能是学会了拒答的措辞——但正是这种不讨巧，让它对线上系统最有用。任何一个把「模型该拒答时就拒答」写进验收标准的团队，都应该先回答它提出的问题：你测的是识别，还是措辞。