[控场AI]
基准

Deep SWE

Artificial Analysis推出的软件工程智能体基准,要求模型自主完成真实GitHub仓库中的代码修复任务,侧重端到端Agent执行能力评估

核心事实

时间轴 (近 90 天)

10月18日

Deep SWE分数从74.2分升至77分,提升2.8分。

待验证50%
10月13日

Gemini 4 Argon 在 DeepSWE v1.1 基准测试中取得 77.9% 的 SOTA 成绩。

待验证50%
10月4日

谷歌称Argon在Deep SWE上刷新了业界最高水平(SOTA)

已过期50%
10月3日

在谷歌公布的图表中,Argon的Deep SWE得分接近78%,而Claude Opus 5.5和GPT-6 Astra仅略高于74%

已验证65%
10月1日

在Deep SWE基准测试中,GPT-6.1 Sol在Low档的分数与Astra在High档相当,但Low档成本仅21美分,而Astra需要1.46美元

待验证50%
10月1日

Deep SWE测试模拟真实软件工程环境,要求AI在已有代码库中理解架构、定位问题、迭代修改并通过自动化测试验证结果

待验证50%
9月30日

在DeepSWE基准中,GPT-6.1 Sol的low档单次运行成本约0.21美元,而Astra同档需1.46美元,Opus 5.5在max档取得相同分数需14.65美元

已过期65%
9月16日

DeepSeek V4.1 Flash在Deep SWE软件工程代码测试上拿到74分,是UP主见过的第一个在Deep SWE上达到74分的开放权重模型

待验证50%
9月12日

DeepSWE系列基准用于衡量模型在真实软件工程场景中的自主端到端工程能力

已验证85%
9月3日

相比上一代Qwen3.6-27B,Qwen3.8-27B在多项测试上大幅提升,其中Deep SWE从13.3提升到42.2(接近三倍),OS World从63.9提升到84.3

待验证50%

全部知识事实 (8)

来源文章