基准MATH-500 数据集
MATH-500
HuggingFace上的数学推理评测集,包含500道数学题目,用于评估大语言模型的数学推理能力
时间轴 (近 90 天)
10月13日
ZY-S1的MATH-500从4降到0是微调数据分布偏移导致灾难性遗忘的典型表现。
待验证50%
10月13日
在作者公布的25道题小样本评测中,ZY-S1相比基座模型在MATH-500上从4降到0,数学能力退化。
已过期50%
10月5日
在提示词不变的情况下,SymCE 训练的模型能力可迁移到 GSM8K、MATH-500 和 MMLU-college-math 等主流数学推理基准
待验证50%
9月30日
该研究实验在MATH-500数据集的386个任务上展开
待验证50%
9月27日
实验样本量小(单个模型、单次测试、50 道题),存在随机波动的可能,属于启发性发现而非定论
待验证50%
9月27日
一位 Reddit 用户从 MATH-500 数据集随机抽取 50 道题目,在 Qwen3.5-4B 的多个量化版本上运行实验
待验证50%
9月7日
AdaptiveSpec在GSM8K、MATH-500和HumanEval三大基准上恢复了93%至完全无损的任务准确率
待验证50%
全部知识事实 (6)
待验证
ZY-S1的MATH-500从4降到0是微调数据分布偏移导致灾难性遗忘的典型表现。
50%待验证在提示词不变的情况下,SymCE 训练的模型能力可迁移到 GSM8K、MATH-500 和 MMLU-college-math 等主流数学推理基准
50%待验证该研究实验在MATH-500数据集的386个任务上展开
50%待验证实验样本量小(单个模型、单次测试、50 道题),存在随机波动的可能,属于启发性发现而非定论
50%待验证AdaptiveSpec在GSM8K、MATH-500和HumanEval三大基准上恢复了93%至完全无损的任务准确率
50%待验证一位 Reddit 用户从 MATH-500 数据集随机抽取 50 道题目,在 Qwen3.5-4B 的多个量化版本上运行实验
50%