FrontierPhysics：物理研究智能体的端到端评估新基准

AI智能体在物理研究中的角色日益重要，但现有基准测试往往只评估固定问题、孤立子任务或给定解决方案的论文复现，且很少同时检查研究质量与正确性。为此，研究者推出了FrontierPhysics——一个由42位物理学家基于自身研究构建的端到端基准，包含56个任务，覆盖理论、计算和实验物理三大类的九个领域。

现有物理基准的局限

当前物理领域的AI评估大多聚焦于解题能力：给定一个物理问题，要求模型输出答案。这类测试能衡量知识储备和计算技巧，却无法反映真实科研流程的复杂性。真实的研究工作远不止解题——它要求研究者检索文献、识别空白、设计可行方案、执行实验或模拟、分析数据，并最终产出可发表的手稿。FrontierPhysics的出发点正是填补这一断层，将评估对象从“答题者”转向“研究者”。

确定性验证器是指对任务输出进行可自动、可复现判定的检查程序，例如核对数值结果是否落在预设容差内、代码是否成功运行并产生符合预期的数据文件、引用的文献是否真实存在等。它与依赖人类专家主观打分的评分方式互补：验证器保证客观正确性，专家评分标准则评估研究设计是否合理、分析是否深入、手稿是否达到可发表水平。在FrontierPhysics这类端到端基准中，单一验证器难以覆盖开放研究流程的全部环节，因此需要两者结合，避免模型靠“猜答案”或堆砌辞藻通过评估。

FrontierPhysics的设计与构成

该基准的56个任务全部由42位物理学家根据自己正在进行的研究设计，而非从教科书或题库中抽取。任务横跨九个领域，涵盖理论、计算与实验物理。每个任务要求智能体完成完整的研究闭环：回顾文献、制定研究计划、开展研究与实验、生成结构化输出和科学手稿。评估采用确定性验证器与专家撰写的评分标准相结合的方式，既检查结果正确性，也判断研究是否达到可发表水平。

前沿模型的表现与短板

研究者测试了22个模型、26种配置，发现没有任何一种配置能通过其168次运行中的超过46次。这一结果直观地表明，端到端物理研究对当前AI仍是严峻挑战。对智能体轨迹的人工审查进一步揭示了失败根源：前沿智能体的主要弱点在于推理不够严谨以及缺乏专家直觉，而非物理知识不足或执行错误。换言之，模型“知道”物理，却不太会“做”物理研究——它们难以像人类专家那样在模糊情境中做出判断、在数据异常时产生警觉、在研究方向上做出有品味的取舍。

智能体轨迹（agent trajectory）指智能体在完成任务过程中产生的完整行动序列，包括每一次工具调用、中间推理、文件读写、代码执行及结果观察。审查轨迹而不只看最终答案，能够定位失败发生在哪个环节——是文献检索遗漏关键工作、研究计划存在逻辑跳跃，还是数据分析时忽略了异常值。FrontierPhysics对轨迹的人工审查正是据此判断：模型的短板不在物理知识本身，而在推理严谨性与专家直觉，这类问题往往在中间步骤就已显现，却不会反映在最终输出的对错上。

对AI科研智能体的启示

FrontierPhysics的价值不仅在于给出一个排行榜，更在于指明了改进方向。知识注入和工具调用固然重要，但科研能力的核心可能在于严谨的推理链条与领域直觉的培养。对于构建科研智能体的团队而言，这意味着需要重视模型在开放研究流程中的自我校验能力，以及从有限信息中形成合理科学判断的能力。该基准也为后续研究提供了可复用的评估框架，推动AI从“解题工具”向“研究伙伴”演进。

领域直觉（expert intuition）在科研语境中指的是专家在信息不完整、结果模糊时做出合理判断的能力，例如察觉某个数据分布“不对劲”、判断某条研究路线值得深入而另一条应及早放弃、在多个可行方案中依据品味和经验取舍。它难以通过标准题库训练获得，也不易用自动化指标衡量。FrontierPhysics将缺乏专家直觉列为主要失败根源，提示科研智能体的评估与训练需要引入开放式、无标准答案的情境，让模型练习在不确定性下自我校验和形成科学判断，而不仅是提升知识覆盖与工具调用成功率。