[控场AI]
基准MATH 500 / Math500

Math 500

数学推理基准测试,包含500道竞赛级数学题,用于评估大语言模型的数学问题求解能力

时间轴 (近 90 天)

11月4日

在实验8中,Astra通过编辑权重修复了Qwen 3.5B(8亿参数)模型的「循环」问题,修复后Math 500分数从略低于8%升至略高于48%,GSM8K从13.8%升至67.1%。

待验证50%
11月4日

在数学修复实验中,一个小型开源模型在Math 500测试上仅得7.9%,Astra通过定位并减掉两层内部的一个方向(约13万权重,改动比例0.016%),将分数提升至48.1%,指令遵循能力也提升约两倍。

待验证50%
11月4日

Astra在无训练情况下仅修改某小型模型0.016%的权重,使其在Math 500基准上的得分从7.9%提升到48.1%。

待验证50%
11月4日

Math 500结果是在允许使用Python并在最多50批练习题上实际运行网络的条件下取得的,并非纯粹权重读取或零样本推理。

待验证50%
11月4日

Math 500是包含500道竞赛风格数学题的基准,答案通常要求精确匹配。

待验证50%

全部知识事实 (5)

来源文章