待验证50% 置信事实精确时间

基准污染是指测试题目可能已出现在训练数据中，导致高分不能真正代表泛化能力

1

来源数

50%

置信度

长期有效

时效性

2026/8/26

首次发现

来源

AI能力争论：Reddit为何两极分化？理性看待AI真实水平

涉及实体

基准污染concept

相关事实

已验证基准数据污染是指测试集公开后其题目可能出现在后续模型的预训练语料中，导致得分反映记忆而非真实推理能力77% 相似已验证基准污染（Benchmark Contamination）是当前大模型评估领域面临的重要挑战，模型训练数据中可能已包含公开的测试题目导致评估结果失真74% 相似已验证若用含测试集的全量数据计算均值和标准差，会导致预处理泄漏，使评估指标虚高，无法真实反映模型泛化能力74% 相似待验证基准测试存在数据污染、与特定技术栈偏差、无法衡量代码可维护性等软性指标的局限71% 相似待验证基准饱和指当模型性能提升到一定程度后，基准测试不再能够有效区分不同模型之间的能力差异71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/802616

API

curl https://kongchang.com/api/v1/knowledge/claims/802616

MCP

get_claim(id=802616)