VLM 论文速递 #051｜流式视频省显存、语义误导

截至本次抓取（10 月 27 日早），arXiv API 按 submittedDate 倒序可检索到的最新公告批次是 2026-10-23，10 月 24—26 日没有出现新的公告批次（周末不公告，与 #048—#050 记录一致）。本期从该批次取五篇方向互补的论文：一种免训练、按层分配 KV 预算的流式视频上下文管理、一个针对「图真话假」的检测与定位模型、一套绕过重建与重定向的视频直接驱动人形机器人的框架、一种把嵌入域从超球面换到概率单纯形的模态对齐方法，以及一份证明视觉编码器在流形之外会「被凭空钓出」语义的探针实验。所有数字均来自摘要并归因于作者。

1. Video-MemComp：把压缩误差拆成两项，再分别管

论文：arXiv 2610.32784 ｜ 资源：HF Papers ｜ 项目页：hhnk666.github.io

问题。 流式视频理解要在有限的 KV 缓存里持续吃进新帧，现有压缩方法大多只想着「怎么少存」，忽略了近似误差会随流式输入不断累积——压得越久，偏差越叠。

方法亮点。 作者用一阶泰勒展开把压缩误差分解成两项：正交的局部近似误差，与逐层的结构敏感度。针对前者，他们把 token 聚合限制在 RoPE 旋转之前的「安全区」，并加一个保持注意力分布的 logit 偏置，避免旋转后位置编码带来的几何畸变；针对后者，按离线梯度先验加在线上下文熵，动态给各层分配 KV 预算，把额度优先给高敏感层。整个框架免训练。

证据。 在 MLVU、VideoMME、EgoSchema 上，与全缓存及当前压缩方法相比持平或更好；Qwen2.5-VL-3B 的整体准确率从 62.3% 提到 64.1%，KV 缓存被压到每层约 6000 token 的等效规模，节省 90% 以上显存。论文被 ACM MM 2026 接收。

边界。 摘要只给了三个视频基准上的总体准确率，没有分任务（长视频检索、时序定位、计数）拆解——压缩方法最容易在细粒度时序任务上掉分，这类结果往往藏在正文表格里。误差分解基于一阶近似，在压缩率极高（如每层 6000 token 对应数十分钟视频）时高阶项是否可忽略，摘要未讨论。层敏感度依赖离线梯度先验，换模型架构需重新标定。

我的判断。 这篇的价值在于把「压缩」从工程技巧变成了有误差上界的近似问题：一旦误差可以被拆成两项，就能分别用位置（前 RoPE）和额度（逐层预算）去治。它是第 3 篇的反面参照——那边在改嵌入空间的几何，这边在改缓存的时间结构，两者都不动模型权重，说明当前视频理解的主要瓶颈确实在「怎么记」而不是「怎么算」。

2. MiD-VLM：图像是真的，故事是假的，怎么定位到那几个词

论文：arXiv 2610.32967 ｜ 资源：HF Papers

问题。 语义型虚假信息不需要改像素：一张真实照片配上一句扭曲叙事的说明，就能制造误导。为检测像素级伪造而设计的方法在这里几乎失效，因为图像本身没有任何篡改痕迹。

方法亮点。 作者用 DGM4+ 数据集做这件事，专门评「全局场景与语义不一致」。模型侧是一个双编码器加 LoRA 的组合：SigLIP 提供图文联合表征，DINOv2 提供视觉场景特征，两者经一个投影 MLP 融合后，接到用 LoRA 适配的 Qwen2-VL-7B 上。输出是三件事同时做——判断图文对是否可信、识别操纵类型、定位说明文字里造成误导的具体 token。

证据。 DGM4+ 验证集上，二分类可信度的 F1 为 0.9679。

边界。 作者自己写明：token 级定位仍需进一步工作，也就是说三个目标里最难的那个并未在摘要中被证成。F1 0.9679 是二分类指标，在正负样本比例未知的验证集上，单看这个数容易高估实际可用性——真实场景里误导样本远少于正常图文对。DGM4+ 是本工作配套的数据集，评测集与训练分布的重合度需要看正文。

我的判断。 这个题目的难点不在检测而在定位：判定「这句话在骗人」可以靠整体语义偏差，但指出「骗在哪个词」要求模型把语言里的断言拆成可与图像核对的命题——这正是当前 VLM 最弱的一环，与 #050 里 AgentVQA 的「状态接地与维持」是同一类失败。F1 很高、定位未解决，这个组合本身就说明了瓶颈位置。

3. ViT-H：跳过重建与重定向，让视频直接生成机器人动作

论文：arXiv 2610.32966 ｜ 资源：HF Papers ｜ 项目页：awfuact.github.io/vit-h

问题。 用单目人类视频教人形机器人做全身动作，主流流水线是「重建人体动作 → 重定向到机器人骨架 → 训练跟踪器」三段各自优化。问题在于中间两段的目标与最终「机器人能不能执行」并不一致，误差逐段累积，且难以用下游跟踪结果反过来修正前面的生成。

方法亮点。 ViT-H 换成一个「生成—跟踪」范式：用扩散模型直接从视频生成人形机器人的参考动作，绕过人体动作重建与重定向；再用跟踪器的执行结果，通过直接偏好优化（DPO）对生成器做后训练。作者还给出一个自回归变体，支持实时的人形视频遥操作。

证据。 在 Unitree G1 上的实验显示，ViT-H 在动作质量与可执行性上都优于当前的重建—重定向—跟踪流水线；性能随模型规模、预训练与后训练数据量提升；动作跟踪反馈在不同跟踪器上都能稳定提升可执行性。自回归变体的遥操作延迟低于 400 毫秒。

边界。 摘要没有给可执行性的具体度量方式（是真机成功率、跟踪误差还是仿真指标）、也没给对比基线的名字与数量。低于 400 毫秒是端到端还是仅生成环节，摘要未区分——这决定了它能否用于需要闭环反馈的遥操作。「跳过重建」的好处是省掉中间环节，代价是失去了人体动作这一可解释的中间表示，出问题时难以定位是生成还是跟踪的错。

我的判断。 用下游跟踪反馈做 DPO 来后训练动作生成器，是这篇最值得记的一点：它把「可执行性」变成了可优化的偏好信号，而不是事后筛选。这与 #050 里 S² 拿表征对齐做离线筛选器是同一个思路的两个层次——一个在训练时用反馈，一个在选型时用代理指标。真正的悬念是泛化：Unitree G1 上的成功能否迁移到自由度与质量分布不同的机体。

4. 把嵌入从球面搬到单纯形，模态间隙缩小 97—99%

论文：arXiv 2610.32890 ｜ 资源：HF Papers

问题。 CLIP、CLAP 这类多模态对比模型能学到共享表征，但两个模态的嵌入在空间里始终各占一块，这叫模态间隙（modality gap）。它不是一个美观问题：间隙越大，跨模态检索与零样本迁移越依赖语料分布，换域就掉。

方法亮点。 作者的做法纯几何：把嵌入域从单位超球面 $S^{d-1}$ 换成概率单纯形 $\Delta^{d-1}$。两个流形内在维度相同，但单纯形自带结构先验——非负、质量和为一的约束相当于一次跨模态校准，迫使两个模态落在同一套坐标系里。实现上只挂轻量的 softmax 适配器，相似度改用全变差（Total Variation）。

证据。 在五个多模态检索基准上，质心的 $\ell_2$ 间隙缩小 97—99%；检索性能与无约束的标准模型持平或更好。

边界。 五个基准的具体构成、是否包含视频与音频（文中提到 CLAP，说明覆盖了非视觉模态）摘要未列。全部收益以「质心距离」这一指标度量，而质心间隙缩小不等于所有样本对都对齐了——分布可能仍重叠但各自形状不同。softmax 适配器需要额外训练，摘要未给参数量与训练成本，也没说这套改造能否直接套在已训练好的模型上而不重训主编码器。

我的判断。 「换一个流形就修好了」这种结论值得警惕，但也不该轻视：非负约束在几何上确实等价于要求两个模态用同一组「基向量」解释自己，这与最优传输、Sinkhorn 归一化那一路的直觉相通。要验证它对不对，最直接的办法是看它在跨域检索（训练分布之外的图文对）上是否也稳——摘要只报了同分布基准，这是最需要补的一块。

5. SPOOK：在空白画布上点几个像素，就能钓出指定的语义

论文：arXiv 2610.32835 ｜ 资源：HF Papers

问题。 视觉编码器被当成「语义表示」广泛使用，但「嵌入相似」与「人眼看到的语义相似」之间的关系，在远离自然图像流形的地方是否还成立？如果一张几乎空白的图也能得到与「金毛犬」高度相似的嵌入，那下游用嵌入做的检索、聚类与对齐都在依赖一个未被说明的假设。

方法亮点。 作者在纯黑盒设定下做探针：从空白画布出发，用简单的像素级爬山法做稀疏像素编辑，不碰模型权重、不看梯度。在 ImageNet 与 Flickr30k 上，测试这些被编辑过的空白画布能否在多模态对比编码器与自监督视觉编码器中检索到指定目标。

证据。 在 OpenCLIP 上，朝类别提示优化的输入取得很强的 top-1 与 top-5 定向检索；在 DINOv3 上，朝类别原型优化的输入取得很高的目标对齐度与接近顶部的原型排名。作者据此认为，多模态对齐编码器与自监督视觉编码器共享同一种「流形之外」的失效模式，并把稀疏空白画布优化推荐为探测表征几何的简单手段。

边界。 摘要只给了定性描述（「very strong」「near-top」），没有具体数字、样本量与基线，严格性要等正文三张表。实验局限在 ImageNet 类别与 Flickr30k 图文对上，能否推广到开放词汇、细粒度属性或空间关系未验证。另外，从空白画布出发的爬山法找到的是局部极值，它证明「存在这样一组像素」，但不说明自然图像中会不会自发出现类似结构——这两者的安全含义差别很大。

我的判断。 这篇最像一次体检报告：它不提出新模型，只指出所有现代视觉编码器共有的一个病。对 VLM 的直接含义是，用嵌入相似度做「视觉证据」的推理链（检索增强、记忆、跨模态对齐）在某些输入上可能建立在一组人眼看不见的像素上。这类工作不会立刻改变工程实践，但它给出了一个便宜到可以放进 CI 的探针——如果你在训多模态模型，这一项值得先跑一遍。

今日阅读线索

五篇放在一起，指向同一件事：VLM 的失败多数不发生在「理解」环节，而发生在记忆、定位与几何这三个基础设施层。

第 1 篇和第 4 篇都在改结构而不改权重——一个重排缓存的时间结构，一个换掉嵌入的空间结构，这是当前性价比最高的干预点。第 2 篇与第 5 篇是两种诊断：前者发现模型判得准却指不准（定位能力落后于判断能力），后者发现嵌入在高维空间里可以被凭空构造（相似度不等于语义）。第 3 篇给出了唯一一条「用下游反馈优化上游」的完整闭环。

如果要选一篇精读，我会选第 5 篇。它没有 SOTA，但它动摇的是很多人默认的前提：嵌入空间里的距离可以代表语义距离。这个前提一旦松动，第 1 篇的压缩、第 4 篇的对齐、以及大量 RAG 系统的相似度检索，都要重新检查一遍各自的适用条件。