已过期75% 置信事实精确时间
部分模型在MMLU上的得分已超越人类平均水平90%，导致其区分度急剧下降
3
来源数
75%
置信度
中期 (~90 天)
时效性
2026/7/24
首次发现
此条事实已过期，仅作历史留存，不再代表当前状态
有效期至：2026/10/22(已过期)
来源
相关事实
待验证基准污染（Benchmark Contamination）导致HumanEval、MMLU等主流基准区分度下降，部分模型HumanEval得分超过95%、MMLU超过90%但实际能力平庸80% 相似已验证到2024年中，顶级模型在MMLU上的分数已普遍超过85-90%，该基准的区分度急剧下降80% 相似待验证一项针对GPT-4的研究显示，对MMLU题目进行语义等价改写后，模型准确率在部分子集上下降超过10个百分点73% 相似待验证名义上90%的保形预测置信区间在整体数据上实现了90.72%的边际覆盖率，但在事后高需求子集上覆盖率骤降至75.66%71% 相似待验证当多个模型在MMLU、HumanEval等测试中均达到90%以上的正确率时，用户关注点转向推理延迟、服务可用性和总体拥有成本等实操指标70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/607159API
curl https://kongchang.com/api/v1/knowledge/claims/607159MCP
get_claim(id=607159)