基准MATH 500 / Math500
Math 500
数学推理基准测试,包含500道竞赛级数学题,用于评估大语言模型的数学问题求解能力
时间轴 (近 90 天)
11月4日
在实验8中,Astra通过编辑权重修复了Qwen 3.5B(8亿参数)模型的「循环」问题,修复后Math 500分数从略低于8%升至略高于48%,GSM8K从13.8%升至67.1%。
待验证50%
11月4日
在数学修复实验中,一个小型开源模型在Math 500测试上仅得7.9%,Astra通过定位并减掉两层内部的一个方向(约13万权重,改动比例0.016%),将分数提升至48.1%,指令遵循能力也提升约两倍。
待验证50%
11月4日
Astra在无训练情况下仅修改某小型模型0.016%的权重,使其在Math 500基准上的得分从7.9%提升到48.1%。
待验证50%
11月4日
Math 500结果是在允许使用Python并在最多50批练习题上实际运行网络的条件下取得的,并非纯粹权重读取或零样本推理。
待验证50%
11月4日
Math 500是包含500道竞赛风格数学题的基准,答案通常要求精确匹配。
待验证50%
全部知识事实 (5)
待验证
在实验8中,Astra通过编辑权重修复了Qwen 3.5B(8亿参数)模型的「循环」问题,修复后Math 500分数从略低于8%升至略高于48%,GSM8K从13.8%升至67.1%。
50%待验证在数学修复实验中,一个小型开源模型在Math 500测试上仅得7.9%,Astra通过定位并减掉两层内部的一个方向(约13万权重,改动比例0.016%),将分数提升至48.1%,指令遵循能力也提升约两倍。
50%待验证Astra在无训练情况下仅修改某小型模型0.016%的权重,使其在Math 500基准上的得分从7.9%提升到48.1%。
50%待验证Math 500结果是在允许使用Python并在最多50批练习题上实际运行网络的条件下取得的,并非纯粹权重读取或零样本推理。
50%待验证Math 500是包含500道竞赛风格数学题的基准,答案通常要求精确匹配。
50%