BEAKER：自驱动化学实验室的具身AI能力测评新基准

自驱动化学实验室（Self-Driving Chemical Laboratories, SDCLs）正推动化学实验走向具身自动化：机器需要感知实验场景、推断实验状态，并在物理、流程与安全约束下执行操作。多模态大模型（MLLMs）被越来越多地视为这类系统的“具身大脑”，但现有实验室基准大多聚焦安全、异常检测或通用科学理解，对其面向执行操作的具身能力评估明显不足。

为填补这一空白，研究者提出了 BEAKER——一个面向自驱动化学实验室中具身行动能力、知识、实验操作与推理的基准（Benchmark for evaluating Embodied Actionability, Knowledge, Experimentation, and Reasoning）。它试图回答一个关键问题：当前最强的一批多模态模型，距离真正“能动手做实验”还有多远？

BEAKER 测什么：11 类任务、1000 条专家样本

BEAKER 包含 1,000 条由专家精心整理的问答样本，覆盖 11 种图像与视频任务类型。这些任务对应化学实验室执行环节所需的关键判断，包括：可供性定位（affordance grounding）、轨迹规划、设备/状态/安全识别、装置搭建、操作与步骤推理，以及时序流程推理。

所有问题和标注均由化学及具身 AI 领域的专家人工创建并审核，没有使用 AI 辅助生成或标注。这一点在当下普遍依赖模型生成数据的环境中尤为关键——它意味着基准的“含金量”来自人类专家的实验常识，而非另一个模型的偏见。

可供性定位（affordance grounding） 源于生态心理学中的“affordance”概念，指环境中的物体向行动者提供的可能动作。在具身 AI 语境下，可供性定位要求模型不仅识别出“这是一个烧杯”，还要指出“烧杯的杯口区域适合倾倒液体”“这个夹持位置可以稳定抓取”。它通常以图像区域（如边界框或分割掩码）为输出，是连接视觉感知与物理操作的桥梁。对自驱动化学实验室而言，可供性定位的准确性直接决定了机械臂能否安全、有效地与器皿交互，而不仅仅是“看到”它们。

轨迹规划 在具身操作中指为机械臂或移动平台生成一条从起点到目标、且满足物理与安全约束的运动路径。与经典机器人学中的路径规划不同，面向化学实验的轨迹规划还需考虑液体晃动、器皿碰撞、热源避让等场景特定约束。BEAKER 将其纳入评测，是检验模型能否把“移液”这类高层指令转化为可执行的空间动作序列，而非停留在语言层面的步骤描述。

时序流程推理 要求模型理解实验步骤在时间轴上的先后、并行与依赖关系。化学实验往往包含等待、回流、淬灭等具有严格时间窗口的环节，顺序错误可能导致实验失败甚至安全事故。该任务通常以视频或步骤序列为输入，考察模型对“先加酸后加水”这类不可逆顺序的敏感度，以及对中等长度流程的整体排序能力。

测评结果：能看懂流程，却做不了精细动作

研究者以离线、单轮问答的设置，评估了 28 个多模态模型，涵盖通用型、科学导向型、化学专用型以及具身型 MLLMs。结果呈现出一条清晰的能力分水岭：

• 粗粒度流程理解尚可：模型能够跟随视频中的大致实验步骤，理解“先做什么、后做什么”的宏观顺序。
• 精细落地能力严重不足：模型难以把动作落到可操作的区域与可行轨迹上，也就是知道“要移液”，却指不准“移到哪、怎么移”。
• 细粒度识别薄弱：对实验室器皿、状态与安全规范的识别不够精确。
• 中等长度流程排序吃力：在步骤数量稍多的程序中，模型容易打乱顺序。

这说明当前模型更多掌握了实验的“叙事层”，而缺乏执行所需的“操作层”感知。BEAKER 因此揭示了一个明确落差：粗粒度流程理解与精确的、以动作为基础的感知之间存在鸿沟。

文中提到的 MLLMs（多模态大语言模型） 指能够同时处理图像、视频与文本输入的大规模模型，如 GPT-4V、Gemini、Qwen-VL 等。它们通常由视觉编码器将图像映射为视觉 token，再与文本 token 一同送入语言模型进行联合推理。BEAKER 评测的“通用型、科学导向型、化学专用型、具身型”四类模型，差别主要在于预训练数据与后训练任务：科学导向型额外注入论文与图表数据，化学专用型进一步针对分子、反应与实验文本微调，具身型则加入机器人操作与第一人称视角数据。理解这一分类有助于解读评测结果——即使经过领域适配，模型在动作落地任务上依然普遍薄弱，说明瓶颈不在领域知识，而在空间与物理层面的感知对齐。

离线、单轮问答 的评测设置意味着模型每次只接收一个固定问题与对应图像或视频，独立输出答案，不与环境交互、不执行动作、也不进行多轮纠错。这种设置便于大规模、可复现地比较模型能力，但也会低估或高估真实部署表现：一方面它剥离了闭环反馈带来的修正机会，另一方面它也回避了真实机器人执行中的累积误差。因此 BEAKER 的分数应理解为模型“具身认知”的上限估计，而非实际实验室操作成功率的直接预测。

为什么这个基准值得关注

对自驱动实验室而言，模型的错误不再是文本层面的“答非所问”，而可能是一次错误的移液、错误的加热顺序或对安全规范的误判。BEAKER 的价值在于把评估重心从“懂不懂科学”推进到“能不能安全、准确地执行实验操作”，为后续 MLLMs 在 SDCLs 中的落地提供了诊断性工具。

它的设计思路也提示了一个方向：具身智能的评测不能只依赖通用视觉问答，而需要与具体实验场景、物理约束和安全规范深度绑定。未来面向实验室的模型改进，或许应优先补足可供性定位与轨迹规划这类“动作落地”能力，而非继续堆叠流程描述能力。

结语

BEAKER 用专家人工标注的 1,000 条样本和 28 个模型的系统评测，给出了一份务实的“体检报告”：多模态大模型可以充当实验室里的讲解员，但距离成为可靠的执行者仍有明显距离。对于关注具身 AI 与自动化科研的从业者，这份基准提供了一个可复用的诊断坐标。

背景补充

自驱动化学实验室（SDCLs） 是将自动化硬件、机器人操作、在线表征与 AI 决策闭环集成的实验系统，典型代表包括流动化学平台、机械臂工作站与“化学云实验室”。其核心循环是“设计—执行—表征—学习”：AI 提出候选实验，机器人执行合成与表征，结果回流用于下一轮决策。在这一框架中，MLLMs 被期望承担“具身大脑”角色，即把自然语言目标分解为可执行动作并监控执行状态。BEAKER 所测的可供性定位与轨迹规划，正是这一角色从“规划层”下沉到“执行层”时必须具备的能力，也是当前 SDCLs 从结构化脚本走向开放式自主实验的关键瓶颈。