[控场AI]
基准

SWE Bench Pro

SWE-bench的扩展版本,用于评估模型自动修复代码缺陷的能力,扩大了仓库和语言覆盖范围,并提高了防污染要求。

时间轴 (近 90 天)

9月18日

该模型官方跑分为SWE Bench Pro 61.7、LiveCode Bench V6 90.3、OS World 84.3

待验证50%
9月16日

在SWE Bench Pro等智能体编程基准中,Qwen 3.8据称在部分项目上超越了Opus 4.6 Max

待验证50%
9月16日

SWE Bench要求模型在真实GitHub仓库中解决实际issue,SWE Bench Pro是其难度更高的升级版

待验证50%
9月11日

在SWE Bench Pro上Glimmer以51.2略胜Qwen的50.2,但在SWE Bench Verified(Qwen 77.2 vs 76)和Terminal Bench(Qwen 60.7 vs 51.7)上Qwen反超

待验证50%

全部知识事实 (4)

来源文章