已验证80% 置信事实精确时间
基准数据污染是指测试集公开后其题目可能出现在后续模型的预训练语料中，导致得分反映记忆而非真实推理能力
11
来源数
80%
置信度
长期有效
时效性
2026/7/8
首次发现
来源
基准测试即数据激活：让领域数据找到攀登方向
hackernewshackernews2026/7/3
相关事实
已验证若用含测试集的全量数据计算均值和标准差，会导致预处理泄漏，使评估指标虚高，无法真实反映模型泛化能力77% 相似已验证基准污染是指测试题目可能已出现在训练数据中，导致高分不能真正代表泛化能力77% 相似待验证样本外设计通过使用模型训练截止日期之后或来源受控的当代作品，可在相当程度上排除记忆检索对评测的干扰75% 相似待验证在 train/test split 之前对整个数据集做 StandardScaler 归一化会导致测试集的均值和方差信息渗透进训练集，构成数据泄露75% 相似待验证如果模型在预训练时记住了污染基准的答案，压缩上下文中的信息损失不会影响性能，使得报告的'无损压缩'结论失去意义74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/223327API
curl https://kongchang.com/api/v1/knowledge/claims/223327MCP
get_claim(id=223327)