待验证60% 置信权衡取舍精确时间
基准测试分数与实际应用效果之间往往存在显著差距，MMLU得分略低的模型可能在特定垂直领域表现更好
2
来源数
60%
置信度
长期有效
时效性
2026/9/2
首次发现
来源
涉及实体
相关事实
待验证越狱鲁棒性测试、指令遵循一致性测试和歧义消解测试等维度很难在MMLU、HumanEval等标准基准榜单上得到体现76% 相似待验证行业基准测试正从MMLU、HumanEval转向更贴近真实工程场景的SWE-bench等下一代基准，原因是前者存在数据污染风险且难度上限不足以区分顶尖模型75% 相似待验证通用评测分数接近的大模型在特定垂直任务上可能表现差异巨大74% 相似已验证部分模型存在针对测试集过度优化的风险，导致榜单分数与真实场景表现出现偏差（Benchmark饱和）73% 相似待验证一项最新研究在统一基准 MMEB 上对多模态嵌入的对比学习策略做了系统评估，发现大多数策略相比标准对齐基线只能带来微弱提升，部分策略甚至拖累整体表现。73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/844658API
curl https://kongchang.com/api/v1/knowledge/claims/844658MCP
get_claim(id=844658)