SWE-Marathon
面向编码智能体的长会话基准测试,用于评估AI在软件工程任务中的持续执行能力
核心事实
时间轴 (近 90 天)
Wonder Full在SWE-Marathon基准上拿到57.5分,在DeepSWE 1.1上达到79.0分。
在SWE-Marathon评测中,GPT-6 Astra和Claude Fable 5.1分别使用Codex与Claude Code执行系统,因此该项目并非统一Harness条件下的受控比较。
Muse Wonder Full在SWE-Marathon上的57.5分使用了xhigh推理档位。
在 SWE-Marathon 基准中,Muse Wonder 得 53.1,Claude Opus 5.5 得 46.3,差距 6.8 分。
在 API 可用的 Muse Wonder 版本中,SWE-Marathon 基准击败了 Claude Opus 5.5。
DeepSWE侧重复杂、深度依赖的工程问题;SWE-Marathon强调长链路、多环节的任务,模拟长时间持续工作的场景。
在DeepSWE 1.1基准测试中,Muse Wonder Full取得79.0%,超过Claude Opus 5.5的74.2%和GPT-6 Astra的74.1%
SWE-Marathon 属于端到端结果性评测,给智能体一个跨多小时的软件项目,观察其能否在长周期内保持方向不漂移。
Meta 使用 FocusBench 评测专注度,用 SWE-Marathon 测试长周期软件项目上的持续执行能力。
SWE-Marathon将任务拉长到数十甚至上百步的连续编辑,考验agent在长上下文里的不迷失能力。
还有 6 条时间轴事件
全部知识事实 (11)
Harness是由软件专家设计的确定性框架,它管理状态、执行构建命令、运行linter、捕获标准错误输出,再把日志追加回LLM上下文,促发一次统计修正。
75%待验证Muse Wonder Full在SWE-Marathon上的57.5分使用了xhigh推理档位。
50%待验证在SWE-Marathon评测中,GPT-6 Astra和Claude Fable 5.1分别使用Codex与Claude Code执行系统,因此该项目并非统一Harness条件下的受控比较。
50%待验证Wonder Full在SWE-Marathon基准上拿到57.5分,在DeepSWE 1.1上达到79.0分。
50%待验证DeepSWE侧重复杂、深度依赖的工程问题;SWE-Marathon强调长链路、多环节的任务,模拟长时间持续工作的场景。
50%待验证Meta 使用 FocusBench 评测专注度,用 SWE-Marathon 测试长周期软件项目上的持续执行能力。
50%待验证SWE-Marathon 属于端到端结果性评测,给智能体一个跨多小时的软件项目,观察其能否在长周期内保持方向不漂移。
50%待验证Meta 在模型卡中标注 SWE-Marathon 并非受控的同构比较。
50%待验证Muse Wonder 在 DeepSWE 1.1 上以 78.8 对 74.2 击败 Claude Opus 5.5,在 Harvey 法律代理基准 LAB-AA 上以 10.0 对 4.2 领先,在 SWE-Marathon 上以 53.1 对 46.3 领先。
50%待验证SWE-Marathon将任务拉长到数十甚至上百步的连续编辑,考验agent在长上下文里的不迷失能力。
50%待验证TomasuLLM在SWE-Marathon的18个会话上实现1.27倍的匹配进度提升
50%