基准PHYRD基准
PHYRD
面向理论物理推理能力的评测基准,包含复现(Reproduce)与发现(Discover)两类任务,采用子问题级别评分标准,并以活基准形式持续更新。
时间轴 (近 90 天)
10月26日
PHYRD基准专门针对理论物理的推理能力设计,包含63个复现(Reproduce)和43个发现(Discover)问题。
待验证50%
10月26日
PHYRD将任务分为Reproduce(推导已发表的理论结果)和Discover(修改理论条件后推导新结论)两类,以区分记忆复述和灵活推理。
待验证50%
10月26日
PHYRD的所有任务由FormulaForest构建,并附带参考答案和子问题级别的评分标准(rubrics)。
待验证50%
10月26日
在五个模型上的测试显示,Reproduce任务的整题准确率介于49.21%至68.25%之间。
待验证50%
10月26日
工具使用能帮助四个模型完成更多Discover问题,但概念性错误和论证缺失依然存在。
待验证50%
10月26日
PHYRD被设计为“活基准”(living benchmark),会持续更新以反映理论物理研究的前沿。
待验证50%
全部知识事实 (6)
待验证
PHYRD基准专门针对理论物理的推理能力设计,包含63个复现(Reproduce)和43个发现(Discover)问题。
50%待验证PHYRD将任务分为Reproduce(推导已发表的理论结果)和Discover(修改理论条件后推导新结论)两类,以区分记忆复述和灵活推理。
50%待验证PHYRD的所有任务由FormulaForest构建,并附带参考答案和子问题级别的评分标准(rubrics)。
50%待验证在五个模型上的测试显示,Reproduce任务的整题准确率介于49.21%至68.25%之间。
50%待验证工具使用能帮助四个模型完成更多Discover问题,但概念性错误和论证缺失依然存在。
50%待验证PHYRD被设计为“活基准”(living benchmark),会持续更新以反映理论物理研究的前沿。
50%