概念benchmark overfitting
基准过拟合
AI评测领域的问题现象，指模型厂商针对主流测试集进行专项优化，导致榜单分数虚高但不能反映真实泛化能力
时间轴 (近 90 天)
10月17日
'基准过拟合'指针对特定评测集反复调参，使模型在榜单上表现优异却在真实场景中泛化不佳。
待验证50%
10月12日
现有评估基准往往固定场景与措辞，模型可能通过记住标准答案通过测试却在措辞变化的真实交互中失败，这一现象被称为基准过拟合
待验证50%
9月22日
基准测试的测试集往往是静态封闭的，厂商可针对特定基准进行训练优化使模型表现亮眼，但不意味着泛化能力同步提升
待验证50%
9月11日
模型开发商有时会针对公开基准进行针对性优化（基准过拟合），导致跑分与实际使用体验存在落差
待验证50%