已过期50% 置信事实精确时间
社区在MMLU区分度下降后转向更难的评测基准，如GPQA（研究生级别专业问题集）、SWE-bench、MATH-500、LiveBench
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/8/4
首次发现
此条事实已过期，仅作历史留存，不再代表当前状态
有效期至：2026/11/2(已过期)
来源
相关事实
待验证自2024年下半年以来，主流大模型在MMLU和HumanEval等标准基准测试上的分数提升明显收窄68% 相似待验证传统基准如MMLU、HumanEval因训练数据污染出现基准饱和，GPT-4发布时MMLU得分约86%，如今多个开源模型已突破90%68% 相似待验证基准污染（Benchmark Contamination）导致HumanEval、MMLU等主流基准区分度下降，部分模型HumanEval得分超过95%、MMLU超过90%但实际能力平庸68% 相似待验证在MMLU、HumanEval、GSM8K等主流评测中，头部大模型的得分差距往往只有几个百分点68% 相似待验证到2024年中，顶级模型在MMLU上的分数已普遍超过85-90%，该基准的区分度急剧下降66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/684193API
curl https://kongchang.com/api/v1/knowledge/claims/684193MCP
get_claim(id=684193)