#多模态推理

共 6 篇相关文章

视觉Token路由（VTR）通过联合训练轻量级时空路由器，让电脑使用代理只保留关键视觉Token。仅需2000训练步，在OSWorld等基准上匹配全分辨率模型性能，视觉Token减少2.5-5.8倍，推理成本降低3.3倍，预填充加速2.9倍，优于降分辨率和Token丢弃基线。

最新研究构建人机协同标注语料库，测试视觉语言模型的时长常识推理能力。结果显示，即便使用多轮思维链提示，最先进模型仍难以从推文推断居住还是短暂停留，错误分析揭示上下文整合失败与视觉细节过度依赖两大痛点。

多模态大模型为何看得见却推理不准？研究提出「指称鸿沟」概念，通过 ReGap-Bench 配对基准证明：与任务匹配的视觉指称可提升准确率最高25%，不匹配则无效甚至有害。

Ψ-0.6 是 NeuroAI Lab 提出的统一视觉语言世界模型，让模型用文字、深度、运动、相机位姿等多种表征进行自适应思维流推理，在 MindCube 和 FlowBench 上超越开源模型，并可从仿真迁移到真实机器人。

OpenVLHarness 提出能力层与持久多模态记忆架构，在 22 个基准上平均提升 9.7-12.6 分，并以更低 token 成本超越高推理预算基线，重新定义视觉智能体工具使用。

多模态大模型多图推理成本高昂，mmVB提出按需分配视觉token预算的即插即用方案，仅增1.6M参数即减少9倍视觉token，首token时间快5倍，prefill FLOPs少7倍，并在八个基准上保留94.4%全分辨率精度。