待验证50% 置信事实精确时间
Benchmaxxing指模型开发者或微调者为了让模型在公开排行榜（如MMLU、HumanEval、GSM8K等）上取得高分而进行针对性优化，常见手段包括在训练数据中混入与测试集高度相似的样本、针对特定题型做格式对齐、甚至直接数据污染。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证公开基准（如 MMLU、HumanEval）的题目和答案通常公开可查，模型团队可以针对性地在训练数据中覆盖相似题目，从而在榜单上取得虚高分数，即「刷榜」。74% 相似待验证MMLU、HumanEval、GSM8K等主流评测集长期公开在互联网上，模型在预训练或微调阶段极可能接触过这些题目72% 相似待验证benchmaxxing的典型手段包括在训练数据中混入与测试集相似的内容（污染测试集）、精选有利子任务单独展示、刻意回避在权威测试上公开成绩72% 相似待验证Benchmaxxing指过度优化特定指标而牺牲整体平衡的行为,在大模型开发中表现为针对已知benchmark精心设计训练数据配比、调整损失函数权重以提升特定任务性能71% 相似待验证实验追踪可集成Weights & Biases或MLflow等工具记录训练指标和超参数71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1126409API
curl https://kongchang.com/api/v1/knowledge/claims/1126409MCP
get_claim(id=1126409)