基准污染
AI模型在训练阶段已接触到评测基准测试题目的现象，导致模型评测得分虚高但实际泛化能力不匹配，是AI评估领域的重要挑战
核心事实
时间轴 (近 90 天)
私有基准能防止基准污染，因为公开基准一旦流行，模型开发者可能针对性地优化，导致分数虚高。
对于代码基准而言污染风险尤其突出，因为 GitHub 等代码托管平台上的竞赛题解、讨论帖常被纳入训练语料
论文建议采用动态生成的测试用例和私有保留集，并报告置信区间而非单一分数来缓解基准污染。
基准污染是指评测集公开后模型可能被针对性训练，因此基准需要持续更新或保留私有留出集以维持可信度
缓解基准污染的常见手段包括使用动态生成的新题、在公布前对题库保密，或混合多个维度的评测以降低单一数据集的权重
基准污染指评测题目已进入模型训练数据，导致模型在'背答案'而非真正推理，使评测分数虚高且无法反映实际能力
一篇发表在arXiv上的研究（arXiv:2609.02899）提出，基准污染的担忧应区分为是否抬高绝对分数与是否改变模型排名顺序两个不同问题
基准污染是指测试题目可能已出现在训练数据中，导致高分不能真正代表泛化能力
全部知识事实 (10)
基准污染指模型在训练过程中已见过测试题目，导致评分虚高、无法反映真实泛化能力
90%已验证基准污染是指测试题目可能已出现在训练数据中，导致高分不能真正代表泛化能力
85%已验证基准数据污染是指测试集公开后其题目可能出现在后续模型的预训练语料中，导致得分反映记忆而非真实推理能力
80%已验证基准污染指评测题目已进入模型训练数据，导致模型在'背答案'而非真正推理，使评测分数虚高且无法反映实际能力
75%待验证私有基准能防止基准污染，因为公开基准一旦流行，模型开发者可能针对性地优化，导致分数虚高。
50%待验证对于代码基准而言污染风险尤其突出，因为 GitHub 等代码托管平台上的竞赛题解、讨论帖常被纳入训练语料
50%待验证论文建议采用动态生成的测试用例和私有保留集，并报告置信区间而非单一分数来缓解基准污染。
50%待验证基准污染是指评测集公开后模型可能被针对性训练，因此基准需要持续更新或保留私有留出集以维持可信度
50%待验证缓解基准污染的常见手段包括使用动态生成的新题、在公布前对题库保密，或混合多个维度的评测以降低单一数据集的权重
50%待验证一篇发表在arXiv上的研究（arXiv:2609.02899）提出，基准污染的担忧应区分为是否抬高绝对分数与是否改变模型排名顺序两个不同问题
50%