已过期75% 置信事实精确时间
到2024年中，顶级模型在MMLU上的分数已普遍超过85-90%，该基准的区分度急剧下降
3
来源数
75%
置信度
中期 (~90 天)
时效性
2026/8/4
首次发现
此条事实已过期，仅作历史留存，不再代表当前状态
有效期至：2026/11/2(已过期)
来源
相关事实
待验证基准污染（Benchmark Contamination）导致HumanEval、MMLU等主流基准区分度下降，部分模型HumanEval得分超过95%、MMLU超过90%但实际能力平庸73% 相似待验证Scale AI在2024年的分析显示，部分模型在MMLU上的分数膨胀可能高达5-10个百分点，因测试集已泄露到训练数据中73% 相似待验证传统基准如MMLU、HumanEval因训练数据污染出现基准饱和，GPT-4发布时MMLU得分约86%，如今多个开源模型已突破90%70% 相似待验证多个前沿模型在MMLU上的得分差距已缩小到百分之一的量级，推动了MMLU-Pro和ARC-AGI等更高难度基准的出现70% 相似待验证斯坦福大学HAI研究所2024年度AI指数报告显示，顶级闭源模型在MMLU基准上的最高分与第五名之间的差距，已从2022年的约8个百分点收窄至不足2个百分点68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/684158API
curl https://kongchang.com/api/v1/knowledge/claims/684158MCP
get_claim(id=684158)