[控场AI]
基准

SWE-Marathon

面向编码智能体的长会话基准测试,用于评估AI在软件工程任务中的持续执行能力

核心事实

时间轴 (近 90 天)

10月19日

Wonder Full在SWE-Marathon基准上拿到57.5分,在DeepSWE 1.1上达到79.0分。

待验证50%
10月19日

在SWE-Marathon评测中,GPT-6 Astra和Claude Fable 5.1分别使用Codex与Claude Code执行系统,因此该项目并非统一Harness条件下的受控比较。

待验证50%
10月19日

Muse Wonder Full在SWE-Marathon上的57.5分使用了xhigh推理档位。

待验证50%
10月15日

在 SWE-Marathon 基准中,Muse Wonder 得 53.1,Claude Opus 5.5 得 46.3,差距 6.8 分。

已过期50%
10月15日

在 API 可用的 Muse Wonder 版本中,SWE-Marathon 基准击败了 Claude Opus 5.5。

已过期50%
10月14日

DeepSWE侧重复杂、深度依赖的工程问题;SWE-Marathon强调长链路、多环节的任务,模拟长时间持续工作的场景。

待验证50%
10月13日

在DeepSWE 1.1基准测试中,Muse Wonder Full取得79.0%,超过Claude Opus 5.5的74.2%和GPT-6 Astra的74.1%

已过期70%
10月12日

SWE-Marathon 属于端到端结果性评测,给智能体一个跨多小时的软件项目,观察其能否在长周期内保持方向不漂移。

待验证50%
10月12日

Meta 使用 FocusBench 评测专注度,用 SWE-Marathon 测试长周期软件项目上的持续执行能力。

待验证50%
10月12日

SWE-Marathon将任务拉长到数十甚至上百步的连续编辑,考验agent在长上下文里的不迷失能力。

待验证50%

还有 6 条时间轴事件

全部知识事实 (11)

已验证

Harness是由软件专家设计的确定性框架,它管理状态、执行构建命令、运行linter、捕获标准错误输出,再把日志追加回LLM上下文,促发一次统计修正。

75%
待验证

Muse Wonder Full在SWE-Marathon上的57.5分使用了xhigh推理档位。

50%
待验证

在SWE-Marathon评测中,GPT-6 Astra和Claude Fable 5.1分别使用Codex与Claude Code执行系统,因此该项目并非统一Harness条件下的受控比较。

50%
待验证

Wonder Full在SWE-Marathon基准上拿到57.5分,在DeepSWE 1.1上达到79.0分。

50%
待验证

DeepSWE侧重复杂、深度依赖的工程问题;SWE-Marathon强调长链路、多环节的任务,模拟长时间持续工作的场景。

50%
待验证

Meta 使用 FocusBench 评测专注度,用 SWE-Marathon 测试长周期软件项目上的持续执行能力。

50%
待验证

SWE-Marathon 属于端到端结果性评测,给智能体一个跨多小时的软件项目,观察其能否在长周期内保持方向不漂移。

50%
待验证

Meta 在模型卡中标注 SWE-Marathon 并非受控的同构比较。

50%
待验证

Muse Wonder 在 DeepSWE 1.1 上以 78.8 对 74.2 击败 Claude Opus 5.5,在 Harvey 法律代理基准 LAB-AA 上以 10.0 对 4.2 领先,在 SWE-Marathon 上以 53.1 对 46.3 领先。

50%
待验证

SWE-Marathon将任务拉长到数十甚至上百步的连续编辑,考验agent在长上下文里的不迷失能力。

50%
待验证

TomasuLLM在SWE-Marathon的18个会话上实现1.27倍的匹配进度提升

50%

来源文章