概念mathematical reasoning
数学推理
大模型在数学问题求解中展现的推理能力,涵盖算术、代数、几何等,是评估大模型推理能力的核心任务领域之一
时间轴 (近 90 天)
11月6日
StepBack在七个数学推理和多跳问答(multi-hop QA)基准上进行了评估,结果显示平均准确率与自洽性方法相当,token使用量最多降低41.26%。
待验证50%
11月3日
KAPPO 的实验覆盖了数学推理与代码生成两类任务,结果显示它提供了对锐化程度的直接控制能力。
待验证50%
11月2日
经过监督微调(SFT)后,UpLoop带来的增益还能延伸到数学推理任务。
待验证50%
10月30日
在Qwen3模型上针对数学推理任务的实验显示,MTA-OPSD一致优于现有的OPSD方法,相对基座模型的平均增益最高达到+5.9。
待验证50%
10月30日
数学推理是长序列蒸馏的典型场景,因为解题过程往往需要数十步推导,学生很容易在中途偏离教师路径。
待验证50%
9月21日
数学问题往往有明确的对错标准,是衡量模型能力的理想基准
待验证50%
9月21日
仅凭基准分数难以判断模型是否真正掌握数学推理能力,需要领域专家对解题过程逐步核查
待验证50%
全部知识事实 (7)
待验证
StepBack在七个数学推理和多跳问答(multi-hop QA)基准上进行了评估,结果显示平均准确率与自洽性方法相当,token使用量最多降低41.26%。
50%待验证KAPPO 的实验覆盖了数学推理与代码生成两类任务,结果显示它提供了对锐化程度的直接控制能力。
50%待验证经过监督微调(SFT)后,UpLoop带来的增益还能延伸到数学推理任务。
50%待验证在Qwen3模型上针对数学推理任务的实验显示,MTA-OPSD一致优于现有的OPSD方法,相对基座模型的平均增益最高达到+5.9。
50%待验证数学推理是长序列蒸馏的典型场景,因为解题过程往往需要数十步推导,学生很容易在中途偏离教师路径。
50%待验证数学问题往往有明确的对错标准,是衡量模型能力的理想基准
50%待验证仅凭基准分数难以判断模型是否真正掌握数学推理能力,需要领域专家对解题过程逐步核查
50%