基准MBPP Plus
MBPP+
MBPP的增强版本，用于评估大语言模型在Python代码生成任务上的能力，包含更严格的测试用例和更全面的功能覆盖
时间轴 (近 90 天)
10月21日
论文评测显示，在RTX 3090与Jetson Orin上，BitMTP五任务平均吞吐提升最高达2.0倍，MBPP+单项达到3.3倍。
待验证50%
10月12日
Saluki在MBPP+取得78.0分，多步因果逻辑67.5分，AIME取得80.0分，保留原版82%~85%的数学推理能力
待验证50%
MBPP的增强版本，用于评估大语言模型在Python代码生成任务上的能力，包含更严格的测试用例和更全面的功能覆盖
论文评测显示，在RTX 3090与Jetson Orin上，BitMTP五任务平均吞吐提升最高达2.0倍，MBPP+单项达到3.3倍。
Saluki在MBPP+取得78.0分，多步因果逻辑67.5分，AIME取得80.0分，保留原版82%~85%的数学推理能力