FrontierPhysics
一个端到端的物理研究智能体评估基准，由物理学家基于真实研究构建，包含多领域任务，评估智能体完成完整科研闭环的能力，采用确定性验证器与专家评分标准结合的方式。
时间轴 (近 90 天)
FrontierPhysics 是一个由 42 位物理学家基于自身研究构建的端到端基准，包含 56 个任务，覆盖理论、计算和实验物理三大类的九个领域。
FrontierPhysics 的 56 个任务全部由 42 位物理学家根据自己正在进行的研究设计，而非从教科书或题库中抽取。
FrontierPhysics 的每个任务要求智能体完成完整的研究闭环：回顾文献、制定研究计划、开展研究与实验、生成结构化输出和科学手稿。
FrontierPhysics 的评估采用确定性验证器与专家撰写的评分标准相结合的方式，既检查结果正确性，也判断研究是否达到可发表水平。
研究者测试了 22 个模型、26 种配置，发现没有任何一种配置能通过其 168 次运行中的超过 46 次。
FrontierPhysics 将缺乏专家直觉列为主要失败根源，提示科研智能体的评估与训练需要引入开放式、无标准答案的情境，让模型练习在不确定性下自我校验和形成科学判断。
全部知识事实 (6)
FrontierPhysics 是一个由 42 位物理学家基于自身研究构建的端到端基准，包含 56 个任务，覆盖理论、计算和实验物理三大类的九个领域。
50%待验证FrontierPhysics 的 56 个任务全部由 42 位物理学家根据自己正在进行的研究设计，而非从教科书或题库中抽取。
50%待验证FrontierPhysics 的每个任务要求智能体完成完整的研究闭环：回顾文献、制定研究计划、开展研究与实验、生成结构化输出和科学手稿。
50%待验证FrontierPhysics 的评估采用确定性验证器与专家撰写的评分标准相结合的方式，既检查结果正确性，也判断研究是否达到可发表水平。
50%待验证研究者测试了 22 个模型、26 种配置，发现没有任何一种配置能通过其 168 次运行中的超过 46 次。
50%待验证FrontierPhysics 将缺乏专家直觉列为主要失败根源，提示科研智能体的评估与训练需要引入开放式、无标准答案的情境，让模型练习在不确定性下自我校验和形成科学判断。
50%