待验证70% 置信观点精确时间
主流基准测试题目在互联网上已被广泛讨论，模型训练数据中可能存在对题目的记忆，导致基准分数高估模型在真实未见任务上的能力
2
来源数
70%
置信度
长期有效
时效性
2026/7/6
首次发现
来源
GPT-5.5 Codex推理令牌聚集现象解析：性能退化的成因与应对
hackernewshackernews2026/7/4
相关事实
待验证公开基准（如 MMLU、HumanEval）的题目和答案通常公开可查，模型团队可以针对性地在训练数据中覆盖相似题目，从而在榜单上取得虚高分数，即「刷榜」。76% 相似待验证该自建Benchmark包含大量未被主流大模型收录训练过的自有题目，能反映模型泛化能力而非记忆能力76% 相似待验证经过大规模预训练的模型可能从训练数据中习得关于'自己是AI''自己可能处于测试中'的元认知信息75% 相似待验证OpenAI在InstructGPT论文中证明，少量高质量人类偏好数据对模型对齐的贡献远超大规模无监督训练75% 相似已验证基准测试面临污染（Contamination）风险，若训练数据中包含测试题目或近似变体，模型高分可能部分源于背题而非真实能力75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/123359API
curl https://kongchang.com/api/v1/knowledge/claims/123359MCP
get_claim(id=123359)