数据泄漏
机器学习工程中导致模型评估失真的常见陷阱，指未来信息以隐蔽方式影响模型或其预处理参数，导致评估指标虚高、模型泛化能力下降
核心事实
时间轴 (近 90 天)
在 5,000 个随机特征、随机标签的数据集上，若先在完整数据上挑选 top 20 特征再做 5 折交叉验证，准确率可达 85%（20 个随机种子平均 87.7%）；将特征选择放入 Pipeline 内部后，准确率回落到 48%（平均 50.0%）。
在纯随机标签上，任何无泄漏模型的期望准确率都是 50%，显著高于该基线几乎必然存在信息泄漏。
按基地划分验证集是一种分组划分策略，属于应对数据泄漏问题的解决方案模式。
在游戏画面分割任务中，若随机划分帧，同一基地的连续帧可能同时进入训练和验证集，导致模型通过记忆背景布局获得虚高的验证分数。
机器学习评估假设评估样本之间相互独立，且评估集的信息没有以任何形式流入训练过程；随机切分同一文档的多个维度会打破该假设，导致数据泄漏，使评估分数偏高。
Issue标题中常见的BUG:/DOC:/ENH:前缀会导致数据泄漏，因为模型会直接从标题前缀'抄答案'而非从报告内容学习，训练前需清除这些前缀。
当训练集与测试集中的说话人存在重叠时，口音分类模型可能在学习识别特定说话人而非口音特征，导致评估结果虚高
数据集中的retention列只有在客户发起取消后才被填充，属于数据泄漏特征，不应用于训练
解决数据泄漏的办法是让智能体在恢复到预测窗口之前精确时间戳的隔离分支上进行训练
该案例中的问题根源是数据划分存在数据泄漏，随机分配把近乎重复的表单模板同时放到了训练集和回归测试集两侧
还有 8 条时间轴事件
全部知识事实 (20)
基准污染指评测题目已进入模型训练数据，导致模型在'背答案'而非真正推理，使评测分数虚高且无法反映实际能力
75%已验证过度域随机化会引入与真实分布相差过大的不可能样本，稀释有效训练信号，随机化范围的设定需要大量领域专家经验
75%已验证该案例中的问题根源是数据划分存在数据泄漏，随机分配把近乎重复的表单模板同时放到了训练集和回归测试集两侧
65%已验证数据泄露指本不应出现在训练数据中的未来信息或目标相关信息意外流入特征集，常见于时间序列误用未来特征或归一化在划分前执行
65%已验证数据泄漏是指测试集信息在训练阶段被模型间接看到，导致评估指标虚高，是机器学习研究中最常见也最隐蔽的方法论缺陷之一，在医疗预测领域尤为危险
65%已验证数据泄露分为目标泄露和训练集泄露两类，会导致模型在测试中表现好但上线后失效
65%待验证在 train/test split 之前对整个数据集做 StandardScaler 归一化会导致测试集的均值和方差信息渗透进训练集，构成数据泄露
60%待验证在纯随机标签上，任何无泄漏模型的期望准确率都是 50%，显著高于该基线几乎必然存在信息泄漏。
50%待验证在 5,000 个随机特征、随机标签的数据集上，若先在完整数据上挑选 top 20 特征再做 5 折交叉验证，准确率可达 85%（20 个随机种子平均 87.7%）；将特征选择放入 Pipeline 内部后，准确率回落到 48%（平均 50.0%）。
50%待验证按基地划分验证集是一种分组划分策略，属于应对数据泄漏问题的解决方案模式。
50%待验证在游戏画面分割任务中，若随机划分帧，同一基地的连续帧可能同时进入训练和验证集，导致模型通过记忆背景布局获得虚高的验证分数。
50%待验证机器学习评估假设评估样本之间相互独立，且评估集的信息没有以任何形式流入训练过程；随机切分同一文档的多个维度会打破该假设，导致数据泄漏，使评估分数偏高。
50%待验证Issue标题中常见的BUG:/DOC:/ENH:前缀会导致数据泄漏，因为模型会直接从标题前缀'抄答案'而非从报告内容学习，训练前需清除这些前缀。
50%待验证当训练集与测试集中的说话人存在重叠时，口音分类模型可能在学习识别特定说话人而非口音特征，导致评估结果虚高
50%待验证解决数据泄漏的办法是让智能体在恢复到预测窗口之前精确时间戳的隔离分支上进行训练
50%待验证数据集中的retention列只有在客户发起取消后才被填充，属于数据泄漏特征，不应用于训练
50%待验证对图像先做增强再划分数据集，若同一原图衍生的多张图片被分到训练集和验证集，会造成数据泄漏
50%待验证常见的数据泄漏来源还包括用全量数据计算均值/标准差做归一化、特征工程使用未来时间点信息、目标编码时未做交叉验证隔离
50%待验证数据泄漏几乎不会报错，代码能正常运行且指标漂亮，是AI生成代码中最难被自动检测到的隐患之一
50%待验证避免数据泄漏的方法是按个体划分数据——同一张原图的所有衍生图要么全部进训练集，要么全部进验证集
50%