基准
SWE Bench Pro
SWE-bench的扩展版本,用于评估模型自动修复代码缺陷的能力,扩大了仓库和语言覆盖范围,并提高了防污染要求。
时间轴 (近 90 天)
9月18日
该模型官方跑分为SWE Bench Pro 61.7、LiveCode Bench V6 90.3、OS World 84.3
待验证50%
9月16日
在SWE Bench Pro等智能体编程基准中,Qwen 3.8据称在部分项目上超越了Opus 4.6 Max
待验证50%
9月16日
SWE Bench要求模型在真实GitHub仓库中解决实际issue,SWE Bench Pro是其难度更高的升级版
待验证50%
9月11日
在SWE Bench Pro上Glimmer以51.2略胜Qwen的50.2,但在SWE Bench Verified(Qwen 77.2 vs 76)和Terminal Bench(Qwen 60.7 vs 51.7)上Qwen反超
待验证50%
全部知识事实 (4)
待验证
该模型官方跑分为SWE Bench Pro 61.7、LiveCode Bench V6 90.3、OS World 84.3
50%待验证在SWE Bench Pro等智能体编程基准中,Qwen 3.8据称在部分项目上超越了Opus 4.6 Max
50%待验证SWE Bench要求模型在真实GitHub仓库中解决实际issue,SWE Bench Pro是其难度更高的升级版
50%待验证在SWE Bench Pro上Glimmer以51.2略胜Qwen的50.2,但在SWE Bench Verified(Qwen 77.2 vs 76)和Terminal Bench(Qwen 60.7 vs 51.7)上Qwen反超
50%