视觉语言模型

VLA将预训练的视觉-语言模型与机器人动作策略直接对接，使机器人能够将自然语言指令、摄像头图像与低级运动控制统一处理

VLM（视觉语言模型）通常由视觉编码器（如ViT）、语言模型和连接两者的投影层组成，代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL

VLM（视觉语言模型）是一类同时接受图像与文本输入、并在共享表示空间中进行推理的模型。

RLVR是基于可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards），通过设计可验证的奖励信号引导模型优化

视觉语言模型(VLM)能够同时处理图像和文本信息,建立两者之间的语义关联

VLM由视觉编码器、语言模型骨干和跨模态对齐模块三部分构成

GUILD在任务提议阶段利用视觉语言模型（VLM）的语义先验来识别相关的环境、物体配置和目标任务。

视觉语言模型输出的是语义 token，本身不具备空间分辨率，无法直接给出边界框坐标或像素掩码。

视觉语言模型在UI导航任务上表现亮眼，但高昂的推理成本使其难以成为日常工具。

视觉语言模型的缺点是延迟高、成本高，因此只应在低成本层无法决断时才触发。

使用视觉语言模型兜底去重时，应将提示词限定为二分类或三分类（是/否/不确定），并批量提交候选对以摊薄调用成本。

4B 参数规模的视觉模型通常可单卡（如 16-24GB 显存）推理，便于本地部署与边缘场景。

传统视觉语言模型通常在图像-文本对齐目标上训练，擅长图像描述、视觉问答与 OCR 等任务。

4B 参数量模型在复杂推理与长尾视觉理解上可能弱于更大模型。

当前开源 VLM 常见规模从 2B 到 70B 以上不等，4B 属于轻量级区间。

传统自动验证方法主要分为两类：让视觉语言模型（VLM）充当裁判对轨迹打分，以及生成程序直接检查应用的可访问状态。

VLM裁判受限于输入给它的有限观察帧，若关键状态变化发生在采样帧之间或隐藏在需要滚动、切页才能看到的界面中，VLM便无法获知，且对细微状态差异容易出现幻觉式确认。

论文实验表明，当前最先进的视觉语言模型在时长推断任务上表现挣扎，即使使用多轮思维链（Chain-of-Thought）提示也收效有限。

ZAP（Zero-real Agent Policy）是一种用预训练视觉语言模型提供世界理解、用仿真环境教会动作技能的机器人策略方法，全程不使用真实机器人数据。

现有医疗VLM将测量值作为文本token序列生成，token分类损失不直接优化数值误差，导致对相近数值（如1.36和1.37）的区分能力被词表结构稀释。