基准GPQA Diamond

GPQA-Diamond

研究生水平的科学问答基准子集，题目经对抗性筛选以防止搜索或记忆捷径，用于衡量模型的深度推理能力。

时间轴 (近 90 天)

10月26日

J-Comm 在 MATH500 上达到 94.80%，在 GPQA-Diamond 上达到 54.55%，在 AIME2024+2025 上达到 73.33%，在 ALFWorld 上达到 62.93% 成功率。

待验证50%

10月26日

GPQA-Diamond 是研究生水平的科学问答子集，题目经过对抗性筛选以防止搜索或记忆捷径。

待验证50%

9月14日

在 GPQA-Diamond xhigh 测试中，基座 Qwen3.8-27B 达 88.4% 准确率消耗 6,642 中位 token，Swift 保持 88.3% 准确率但 token 降至 2,771

待验证50%

J-Comm 在 MATH500 上达到 94.80%，在 GPQA-Diamond 上达到 54.55%，在 AIME2024+2025 上达到 73.33%，在 ALFWorld 上达到 62.93% 成功率。

GPQA-Diamond 是研究生水平的科学问答子集，题目经过对抗性筛选以防止搜索或记忆捷径。

在 GPQA-Diamond xhigh 测试中，基座 Qwen3.8-27B 达 88.4% 准确率消耗 6,642 中位 token，Swift 保持 88.3% 准确率但 token 降至 2,771