视觉推理
时间轴 (近 90 天)
视觉推理与视觉感知在认知科学和人工智能领域有明确区分：感知指从像素中提取物体类别、位置、属性等特征，推理则要求在感知结果之上执行规则约束下的判断、比较与推演。
视觉推理的挑战远不止计数一项，空间关系推理、因果视觉判断、多步视觉规划等都需要各自的评测工具。
在多模态智能体中，视觉推理指模型将页面截图转成图像 token 后逐帧解析以判断可点击元素位置的机制；一张高分辨率截图往往消耗数百至上千个图像 token，且每次页面状态变化都需重新推理。
对于 UI 布局高度稳定、交互路径可枚举的网站（如连锁快餐下单、政务表单、企业内网系统），视觉定位方式属于典型的重复性浪费。
视觉推理涉及隐式的中间步骤，缺乏清晰的验证方法，长期难以建模
如果智能体依赖截图进行视觉推理，而画面上叠加了自己画的箭头和方框，可能形成反馈干扰，需要在渲染层做好隔离
视觉语言模型回答图像问题时需要完成两件不同的事：从图像中提取相关信息（视觉推理VR）和基于提取信息推导答案（语言推理LR）
全部知识事实 (7)
视觉推理与视觉感知在认知科学和人工智能领域有明确区分：感知指从像素中提取物体类别、位置、属性等特征，推理则要求在感知结果之上执行规则约束下的判断、比较与推演。
50%待验证视觉推理的挑战远不止计数一项，空间关系推理、因果视觉判断、多步视觉规划等都需要各自的评测工具。
50%待验证在多模态智能体中，视觉推理指模型将页面截图转成图像 token 后逐帧解析以判断可点击元素位置的机制；一张高分辨率截图往往消耗数百至上千个图像 token，且每次页面状态变化都需重新推理。
50%待验证对于 UI 布局高度稳定、交互路径可枚举的网站（如连锁快餐下单、政务表单、企业内网系统），视觉定位方式属于典型的重复性浪费。
50%待验证视觉推理涉及隐式的中间步骤，缺乏清晰的验证方法，长期难以建模
50%待验证如果智能体依赖截图进行视觉推理，而画面上叠加了自己画的箭头和方框，可能形成反馈干扰，需要在渲染层做好隔离
50%待验证视觉语言模型回答图像问题时需要完成两件不同的事：从图像中提取相关信息（视觉推理VR）和基于提取信息推导答案（语言推理LR）
50%