待验证70% 置信权衡取舍精确时间

模型厂商可能针对特定基准进行优化（刷榜），导致跑分亮眼但实际任务表现平平

2

来源数

70%

置信度

长期有效

时效性

2026/9/25

首次发现

来源

Grok 4.7 名不副实？基准测试与Token效率遭质疑

涉及实体

Benchmarkconcept

相关事实

待验证有报道指出部分厂商会针对性地优化Arena风格输出，这是古德哈特定律的体现——当一个指标变成目标，它就不再是好的指标78% 相似待验证业界出现“刷榜”现象——针对榜单特性优化模型，而非提升实际能力。77% 相似待验证更稳健的评估方式是关注模型在'无聊任务'（企业真实工作流中高频低创意度场景）上的表现75% 相似待验证小模型在有界任务上表现强劲，因为提示词可以承载大部分智能；在无界任务上会退化。75% 相似待验证生产级Agent工作流中，Token优化往往不是靠更聪明的Prompt，而是靠更好的架构边界划分75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/948920

API

curl https://kongchang.com/api/v1/knowledge/claims/948920

MCP

get_claim(id=948920)