数据泄露
机器学习中的数据泄露问题，指训练数据中包含了测试时不应可见的信息，导致模型在测试集上的表现虚高，是ML工程中需要重点防范的常见错误
核心事实
时间轴 (近 90 天)
“全部泄露”在技术上不需要一次灾难性事件，它可以由无数次小规模泄露叠加而成。
私有基准因题目不在训练数据中而能减少数据泄露风险，从而更真实反映模型泛化推理能力。
在系统性偏差、数据泄露与重复、极端长尾、安全敏感场景中，数据清洗依然不可替代，因为网络无法自行纠正结构性错误。
平民红队测试框架建议的五个起步场景包括：提示注入、越狱变体、工具升级、数据泄露和拒绝钱包。
Elena团队发现的四个漏洞类型为：泄露系统提示词的提示注入、绕过限制访问受限API的工具升级、跨租户边界的数据泄露路径，以及可一夜烧掉200美元API额度的拒绝钱包循环。
内容新鲜度是宽容的，可以接受最终一致性；而权限新鲜度没有宽限期，授权必须实质上同步，因为权限滞后导致的不是数据陈旧而是数据泄露。
如果评测样本（包括近似重复样本）出现在训练数据中，分数反映的是记忆能力而非真实技能
规避数据增强场景下样本级泄露的方法是按原始个体划分数据集，属于同一原始样本的所有增强图片要么全在训练集要么全在验证集
样本级泄露指多个增强样本来自同一原始样本时，若未按原始个体划分而是随机切分，同一实体信息会同时出现在训练集和验证集中
真正的数据泄露往往伴随可验证的样本数据或攻击路径描述
还有 5 条时间轴事件
全部知识事实 (19)
在划分数据集之前对全量数据做标准化会导致数据泄漏，将测试集信息泄露给训练集
90%已验证如果评测样本（包括近似重复样本）出现在训练数据中，分数反映的是记忆能力而非真实技能
65%已验证数据泄漏是指测试集信息在训练阶段被模型间接看到，导致评估指标虚高，是机器学习研究中最常见也最隐蔽的方法论缺陷之一，在医疗预测领域尤为危险
65%已验证归一化参数必须只从训练集计算，然后套用到验证集和测试集，以避免数据泄漏
65%已验证数据泄露分为目标泄露和训练集泄露两类，会导致模型在测试中表现好但上线后失效
65%待验证在AutoML测试中，模型自主发现并剔除了博主刻意埋入的数据泄露特征陷阱
60%待验证“全部泄露”在技术上不需要一次灾难性事件，它可以由无数次小规模泄露叠加而成。
50%待验证私有基准因题目不在训练数据中而能减少数据泄露风险，从而更真实反映模型泛化推理能力。
50%待验证在系统性偏差、数据泄露与重复、极端长尾、安全敏感场景中，数据清洗依然不可替代，因为网络无法自行纠正结构性错误。
50%待验证平民红队测试框架建议的五个起步场景包括：提示注入、越狱变体、工具升级、数据泄露和拒绝钱包。
50%待验证Elena团队发现的四个漏洞类型为：泄露系统提示词的提示注入、绕过限制访问受限API的工具升级、跨租户边界的数据泄露路径，以及可一夜烧掉200美元API额度的拒绝钱包循环。
50%待验证内容新鲜度是宽容的，可以接受最终一致性；而权限新鲜度没有宽限期，授权必须实质上同步，因为权限滞后导致的不是数据陈旧而是数据泄露。
50%待验证规避数据增强场景下样本级泄露的方法是按原始个体划分数据集，属于同一原始样本的所有增强图片要么全在训练集要么全在验证集
50%待验证样本级泄露指多个增强样本来自同一原始样本时，若未按原始个体划分而是随机切分，同一实体信息会同时出现在训练集和验证集中
50%待验证真正的数据泄露往往伴随可验证的样本数据或攻击路径描述
50%待验证许多重大数据泄露事件的根源并非零日漏洞，而是配置错误、权限管理松散或供应链薄弱等基础性问题
50%待验证潜伏式、持续性的入侵比单次数据泄露更难被安全团队察觉，受害范围随时间推移不断扩大
50%待验证数据泄露指模型在预测某个时间点时实际上偷看了该时间点之后才会产生的数据
50%待验证AQuA论文附录B记录了一个案例：某早期特征的解释通过了审查，但在计算全天成交量作为分母时使用了未来的信息，属于数据泄露
50%