待验证50% 置信注意事项精确时间

若将验证集或测试集数据纳入 fit，会造成数据泄露，导致模型评估结果过于乐观

1

来源数

50%

置信度

长期有效

时效性

2026/7/17

首次发现

来源

Snowflake ML StandardScaler列名报错：does not index into the dataset 完整排查指南

相关事实

已验证若用含测试集的全量数据计算均值和标准差，会导致预处理泄漏，使评估指标虚高，无法真实反映模型泛化能力84% 相似待验证部分模型存在针对测试集过度优化的风险，导致榜单分数与真实场景表现出现偏差（Benchmark饱和）79% 相似待验证数据泄漏分为目标泄漏和训练-测试污染两类，会导致模型性能被系统性高估75% 相似待验证当标注不一致存在时，增加更多数据只会成倍放大混乱，向模型提供自相矛盾的监督信号73% 相似已验证基准数据污染是指测试集公开后其题目可能出现在后续模型的预训练语料中，导致得分反映记忆而非真实推理能力73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/542338

API

curl https://kongchang.com/api/v1/knowledge/claims/542338

MCP

get_claim(id=542338)