待验证50% 置信事实精确时间
MMLU、GSM8K 等通用榜单衡量的是广泛任务上的平均表现，其分数与特定业务指标之间往往只有弱相关。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
已验证在MMLU、HumanEval、GSM8K等主流评测中，头部大模型的得分差距往往只有几个百分点76% 相似待验证模型在标准化评测基准（如HumanEval、MMLU）上的高分表现与真实工作场景中的可靠性之间存在显著差距68% 相似待验证研究表明，即使在 GSM8K 或 MATH 数据集上接近满分的模型，面对稍作变形或需要跨领域组合的问题时性能下降可达30-50个百分点67% 相似待验证自动生成的评分标准可能仍依赖初始 LLM 的质量，且在某些高度专业领域可能需要额外校准；9% 和 4.5% 的提升仅在特定基准上取得，泛化能力尚需验证。64% 相似待验证现有模型评测体系（如HumanEval、MBPP及各类Arena）主要衡量能力上限，很少将端到端任务完成率纳入评估维度64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1126266API
curl https://kongchang.com/api/v1/knowledge/claims/1126266MCP
get_claim(id=1126266)