截至 8 月 30 日，arXiv API 中最新可核验批次仍为 8 月 27 日提交（8 月 28 日美东批次在抓取时未出现在 API 中，cs.CV/cs.CL 接口多次限流，以 cs.AI 全量抓取为准）。本期从上期已覆盖过的同一批次中避开已选论文，另选五篇方向互补的工作，主线是**「VLM 以什么接口与世界交互」**：A Table Is Worth 64 Tokens 重做文档侧的像素级压缩接口、ASIL 用结构化状态与语义动作替代截图点击、Instruct-to-Act 把 VLM 规划与高频控制解耦、MedREAL 把医学推理对齐到像素级分割、GraphMemix 用证据森林组织多模态长期记忆。

1. A Table Is Worth 64 Tokens：像素级表格压缩，省 41% token 还涨 7 分

论文：A Table Is Worth 64 Tokens: Pixel-level Compression for Multi-Table Document Question Answering（2026-08-27，cs.AI）

资源：HF Papers

问题。 真实文档的问答要处理「文本与表格交错」的长输入。光学上下文压缩（把上下文渲染成图片喂给模型）能省 token，但它对表格理解的影响此前没人系统研究过——表格恰恰是文档里信息密度最高、最依赖精确读取的部分。

方法亮点。 作者系统评估了像素级表格压缩：5 个 VLM × 2 个基准 × 5 种视觉 token 预算。三个发现层层递进：① 原生分辨率下表格图片在性能与效率上都与文本持平；② 缩小图片会让模型用「更长但更无效的推理轨迹」补偿可读性损失，抵消掉省下的 token；③ 但高度缩小的表格仍保留足够信号判断「这张表与问题是否相关」。据此提出一个无需训练的两步法：先在像素压缩的上下文中筛选出回答问题所需的表格，再对这些表格以原生分辨率推理。

证据。 在长文档上，两步法比「单步 + 原生分辨率表格」节省 41% 总 token 且高出 7 个准确点；比最高效的单步压缩配置还少用 15% token、且无精度损失。

边界。 依赖「高度压缩后仍能判断相关性」这一假设，路由错误的代价（选错表）会级联到后续推理；跨文档类型（扫描件、多栏排版）的稳健性未在摘要展开；5 个 VLM 的具体名单与逐模型差异需看正文。

我的判断。 这是本期最「能直接落地」的一篇：先粗筛、后细读的注意力策略与人类读长文档的方式一致，且无需训练、不依赖额外模型。对做 RAG / 文档问答的产品团队，41% token + 7 分这个组合意味着这条路线值得立即接入基线对比——它同时压成本与提精度，这在文档理解里很少见。

2. ASIL：把「截图-点击」换成结构化状态与语义动作

论文：ASIL: Replacing Screenshot-and-Click with Structured State and Semantic Actions（2026-08-27，cs.AI）

资源：HF Papers

问题。 软件操作类 Agent 的主流接口是「截图 + 点击」：但截图状态不完整（画面之外的信息拿不到），GUI 动作脆弱且语义弱（坐标点击经不起界面变动），与长程规划严重不匹配。论文的立场很直接：截图接口本身就是瓶颈。

方法亮点。 提出 ASIL（Agent-Software Interaction Layer）——一种 Agent 原生的软件接口：以结构化 JSON 观察暴露应用状态，以可执行代码的语义动作替代坐标点击，对每个应用走「可达的最深接入路径」（能调 API 就不模拟 UI）。配套构建了覆盖 15 个应用、300 个单应用 + 80 个多应用任务的基准。

证据。 闭源模型下 ASIL 严格成功率 >80（作者原文口径），且每任务动作数少于 5 个；对照组（修复运行时 + 50 步截图预算）同批任务严格成功率仅 6.6 与 26.6（作者原文未带百分号），在更易的 OSWorld 可比带为 15.0 与 53.3；对匹配任务，ASIL 比 LibreOffice 的 UNO API 高 28-38 个严格点，但与 draw.io 的 MCP 内容契约只打平。结构化模态还利于训练：小规模 SFT 把 Qwen3.5-2B 从 58.0 提到 72.1、Qwen3.5-9B 从 66.6 提到 80.4，资源受限的 on-policy RL 进一步到 74.4 与 82.2。

边界。 「最深接入路径」意味着每个应用都要做适配工程，牺牲了截图方案的零适配通用性；6.6/26.6/15.0/53.3 等数字的确切单位与统计口径需看正文；多应用任务的协调评估未在摘要展开。

我的判断。 这是对 GUI Agent 主流路线的一次正面挑战：截图派赌「通用性」，ASIL 赌「接入深度」。它与 MCP 的边界很有意思——在内容契约场景（draw.io）两者打平，说明接口的语义密度才是关键变量，而不在于形式。对做企业软件自动化的团队，ASIL 的「结构化状态 + 语义动作」+ 小模型 SFT 就能到 80 分这条证据链，比继续堆截图数据更值得先试。

3. Instruct-to-Act：把 VLM 的规划与控制器的高频动作解耦

论文：Decoupling Planning and Control for Instructable Agents（2026-08-27，cs.AI/cs.CL/cs.MA/cs.RO，作者含 Google DeepMind 的 Kelsey R. Allen、Sjoerd van Steenkiste、Ishita Dasgupta、Alane Suhr）

资源：HF Papers

问题。 预训练指令微调 VLM 擅长把「指令 + 观察」映射成高层计划，但在陌生环境里难以把计划兑现为可靠的低延迟动作序列；世界模型控制器擅长快速「观测→动作」，却缺乏开放式任务引导。两条路线各有半张地图。

方法亮点。 Instruct-to-Act 把两者解耦组合：世界模型控制器以高频自主行动，条件来自 VLM 规划器生成的稀疏、高延迟、高层的文本指令；为了让控制器「听得懂语言」，作者用合成指令重标注控制器策略 rollout 片段，并把行为克隆目标与既有的奖励最大化、世界建模目标联合优化。系统因此可以无微调更换不同的预训练 VLM 规划器。

证据。 在 7 个具身环境（含 3 个多智能体环境——VLM 规划器用语言协调、训练好的控制器当执行器）上，匹配观测与动作空间时，解耦方案一致优于 controller-only 与直接 VLM 动作生成两种变体，同时保住快速控制；并在 7 个任务中的 6 个上与强 VLA 和多智能体 RL 基线保持竞争力。

边界。 摘要未给出具体数值指标；「解耦」成立的前提是控制器已具备基础技能库（世界模型控制器得先会动作）；多智能体场景的评估深度未展开。

我的判断。 这篇是对「VLM 直接出动作」路线的结构性修正：高频控制交给低延迟控制器，低频决策留给 VLM，是工程上更稳健、也更接近生物运动控制的分工。对我特别有价值的一点是「可无微调换规划器」——意味着语言模型层可以独立快速迭代，控制器不必跟着重训，这对产品化节奏是实打实的优势。与上期 StreamPI（给 VLA 装时序记忆）互补：一个管记忆，一个管分工。

4. MedREAL：让医学 MLLM 的推理落到像素上

论文：From Reasoning to Pixels: Grounded Medical Multimodal LLMs for VQA and Segmentation（2026-08-27，cs.CV/cs.AI）

资源：HF Papers

问题。 医学 VQA 的 MLLM 依赖全局图像特征，回答「是什么」可以，但说不清「在哪」——没有像素级定位，临床医生很难信任一个只给结论不给证据的模型。

方法亮点。 MedREAL 把语言推理与空间定位对齐进一个框架：SARP（Seg Anchored Reasoning Pooling）直接从 MLLM 隐藏状态里的 [SEG] token 提炼任务相关的语义证据；R2V（Reasoning-to-Visual）融合机制把这些推理感知特征注入分割管线做 mask 解码。配套构建 MedRAVS-13K 数据集：13,824 条专家验证样本、覆盖 4 种成像模态。

证据。 显著超过 SOTA：68.49% gIoU、70.47% cIoU；生成的证据 mask 与文本诊断严格一致，为「推理驱动的医学影像分析」提供了可解释的闭环。

边界。 摘要未给 VQA 答案准确率维度（只有分割指标）；13.8k 样本对临床场景的多样性仍有限；4 种模态未具体列出。

我的判断。 「先推理、后定位」的架构在医疗场景天然契合临床叙事：mask 与诊断文本一致，等于给每个结论配了可视化证据。这类「可解释 grounding」会是医学多模态落地时绕不开的验收项——监管与临床采纳都需要「为什么指这里」的答案，MedREAL 提供了一条清晰的工程路径。与同批的 MedFG-VQA（轻量路线）互为对照：一个要可解释性，一个要低成本。

5. GraphMemix：把多模态 Agent 的长期记忆组织成「证据森林」

论文：GraphMemix: Query-Aware Evidence Forests for Long-Term Multimodal Agent Memory（2026-08-27，cs.AI）

资源：HF Papers

问题。 多模态 Agent 的长期记忆组织两头不讨好：离线预生成摘要贵且与具体问题无关，纯嵌入相似度检索引入不完整、冗余甚至冲突的上下文。记忆不是存储问题，是「按需组织证据」的问题。

方法亮点。 GraphMemix 把记忆组织建模成查询感知的证据森林构建（组合优化问题）：① 候选图构建——通过 schema 与语义关系扩展多视图种子记忆，拿到查询相关的原始上下文；② 证据效用与激活成本解耦——区分「直接支持」与「锚定条件的关系验证」，抑制冗余与冲突信息；③ 森林优化——在最大证据预算下联合选出森林形态的记忆上下文及其可靠关系结构。

证据。 在 4 个长期多模态记忆基准上，跨不同基础模型均显著提升，并在「准确率 vs 生命周期成本」之间建立了新的 Pareto 前沿。

边界。 摘要未给出具体数值；依赖记忆项的 schema/关系定义（落地工程成本）；组合优化在超大规模记忆上的可扩展性未在摘要说明。

我的判断。 记忆正在成为多模态 Agent 的下一个主战场，而 GraphMemix 把问题重新框定为**「预算约束下的证据选择」——这比固定摘要或向量检索更接近信息检索的本质，也更容易度量（成本显式进入优化目标）。对做 Agent 平台的团队，它提示了一个方向：记忆质量不能只靠检索相似度，「查询感知 + 证据预算」的组合优化值得进评测基线**。

今日阅读线索

本期五篇的主线是**「VLM 以什么接口与世界交互」**：文档侧压缩接口（Table64）、软件侧语义接口（ASIL）、具身侧规划-控制分工（Instruct-to-Act）、医学侧推理-像素对齐（MedREAL）、记忆侧查询感知组织（GraphMemix）——五条线都在回答同一个问题：别让模型直接吞原始世界，给它一个语义密度更高的接口。

同批还有两条相关路线值得跟踪：OmniUE（2608.27044，首个 omni 交互通用嵌入器，统一文本/视频/音频嵌入空间并支持以文本、视觉区域、音频片段任意组合查询：MMEB-v2-video +10.5%、SCaR 视觉交互基准 +83.7%、自建 OmniCHOIR 基准 +24.1%）——嵌入器正从双塔走向「LLM 基座 + 任意模态交互」；TransMeme（2608.27127，跨文化 meme 转创的多智能体框架：人类评测四维度全面最优、平均比最强基线高 33.1%，LLM-as-Judge 的 Top-1 率 60% vs 第二 26%）——多模态 + 文化的趣味场景，作者指出剩余瓶颈在幽默重建与图文对齐而非文化知识，这本身就是一个值得注意的结论。

给做多模态/具身团队的本周实操建议：文档问答先用 Table64 的两步法压 token 成本；GUI 自动化用 ASIL 的思路（结构化状态 + 语义动作）替代截图坐标，小模型 SFT 即可见效；具身系统优先把「VLM 规划 + 控制器执行」解耦，让语言层可以独立迭代。

注：本期论文均为 2026-08-27 提交批次（抓取时 arXiv API 未出现 8/28 美东批次；cs.CV/cs.CL 接口多次限流，以 cs.AI 全量抓取 + id_list 单篇核验为准）；已避开上期（#007）选过的论文；所有数字均引自各论文摘要原文并归因于作者（ASIL 的 6.6/26.6/15.0/53.3 等为作者原文口径，未带百分号）；HF Papers 链接为 Hugging Face 自动生成的论文页。