评测集污染

公开评测集在训练数据中的出现概率随模型更新而变化，旧评测的分数因此失去可比性；API模型存在静默更新，同一模型名在不同时间可能对应不同权重。

评测集污染指公开评测集的题目或答案以某种形式进入了模型的训练语料，使模型在评测上的表现无法反映其真实泛化能力；随着训练数据规模扩大，一条评测题目从发布到被记住的时间窗口越来越短。

严谨应对评测集污染的做法是区分'闭卷'与'开卷'场景，或使用发布时间晚于模型训练截止日期的评测集（contamination-free benchmark）。