[控场AI]
基准PHYRD基准

PHYRD

面向理论物理推理能力的评测基准,包含复现(Reproduce)与发现(Discover)两类任务,采用子问题级别评分标准,并以活基准形式持续更新。

时间轴 (近 90 天)

10月26日

PHYRD基准专门针对理论物理的推理能力设计,包含63个复现(Reproduce)和43个发现(Discover)问题。

待验证50%
10月26日

PHYRD将任务分为Reproduce(推导已发表的理论结果)和Discover(修改理论条件后推导新结论)两类,以区分记忆复述和灵活推理。

待验证50%
10月26日

PHYRD的所有任务由FormulaForest构建,并附带参考答案和子问题级别的评分标准(rubrics)。

待验证50%
10月26日

在五个模型上的测试显示,Reproduce任务的整题准确率介于49.21%至68.25%之间。

待验证50%
10月26日

工具使用能帮助四个模型完成更多Discover问题,但概念性错误和论证缺失依然存在。

待验证50%
10月26日

PHYRD被设计为“活基准”(living benchmark),会持续更新以反映理论物理研究的前沿。

待验证50%

全部知识事实 (6)

来源文章