待验证60% 置信事实精确时间

刷榜（Benchmaxxing）本质上是一种针对评测指标的过拟合行为，使模型在特定测试集表现优异却无法泛化到真实场景

2

来源数

60%

置信度

长期有效

时效性

2026/8/7

首次发现

来源

开源vs闭源模型、奖励黑客与刷榜：AI大模型核心技术问题深度解析

相关事实

已验证基准被刷爆（saturation）是指测试集的题目或解法已被模型训练数据覆盖，导致高分不再代表真实能力74% 相似已验证部分模型存在针对测试集过度优化的风险，导致榜单分数与真实场景表现出现偏差（Benchmark饱和）73% 相似待验证基准饱和是指头部模型在旧任务上得分普遍逼近上限、区分度下降，导致基准失去筛选价值。73% 相似待验证为几个百分点的榜单差距进行定向优化是本末倒置，评估模型时不应盲目迷信榜单排名71% 相似待验证基准饱和(benchmark saturation)指当模型性能逼近人类水平或测试集上限时该基准失去区分能力的效力71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/704189

API

curl https://kongchang.com/api/v1/knowledge/claims/704189

MCP

get_claim(id=704189)