Deep SWE
Artificial Analysis推出的软件工程智能体基准,要求模型自主完成真实GitHub仓库中的代码修复任务,侧重端到端Agent执行能力评估
核心事实
时间轴 (近 90 天)
Deep SWE分数从74.2分升至77分,提升2.8分。
Gemini 4 Argon 在 DeepSWE v1.1 基准测试中取得 77.9% 的 SOTA 成绩。
谷歌称Argon在Deep SWE上刷新了业界最高水平(SOTA)
在谷歌公布的图表中,Argon的Deep SWE得分接近78%,而Claude Opus 5.5和GPT-6 Astra仅略高于74%
在Deep SWE基准测试中,GPT-6.1 Sol在Low档的分数与Astra在High档相当,但Low档成本仅21美分,而Astra需要1.46美元
Deep SWE测试模拟真实软件工程环境,要求AI在已有代码库中理解架构、定位问题、迭代修改并通过自动化测试验证结果
在DeepSWE基准中,GPT-6.1 Sol的low档单次运行成本约0.21美元,而Astra同档需1.46美元,Opus 5.5在max档取得相同分数需14.65美元
DeepSeek V4.1 Flash在Deep SWE软件工程代码测试上拿到74分,是UP主见过的第一个在Deep SWE上达到74分的开放权重模型
DeepSWE系列基准用于衡量模型在真实软件工程场景中的自主端到端工程能力
相比上一代Qwen3.6-27B,Qwen3.8-27B在多项测试上大幅提升,其中Deep SWE从13.3提升到42.2(接近三倍),OS World从63.9提升到84.3
全部知识事实 (8)
DeepSWE系列基准用于衡量模型在真实软件工程场景中的自主端到端工程能力
85%已验证在谷歌公布的图表中,Argon的Deep SWE得分接近78%,而Claude Opus 5.5和GPT-6 Astra仅略高于74%
65%待验证Deep SWE分数从74.2分升至77分,提升2.8分。
50%待验证Gemini 4 Argon 在 DeepSWE v1.1 基准测试中取得 77.9% 的 SOTA 成绩。
50%待验证在Deep SWE基准测试中,GPT-6.1 Sol在Low档的分数与Astra在High档相当,但Low档成本仅21美分,而Astra需要1.46美元
50%待验证Deep SWE测试模拟真实软件工程环境,要求AI在已有代码库中理解架构、定位问题、迭代修改并通过自动化测试验证结果
50%待验证DeepSeek V4.1 Flash在Deep SWE软件工程代码测试上拿到74分,是UP主见过的第一个在Deep SWE上达到74分的开放权重模型
50%待验证相比上一代Qwen3.6-27B,Qwen3.8-27B在多项测试上大幅提升,其中Deep SWE从13.3提升到42.2(接近三倍),OS World从63.9提升到84.3
50%