DeepSWE
专门针对软件工程任务设计的大模型评测基准，核心场景包括自动修复GitHub仓库bug、代码生成、多文件重构等，与SWE-bench任务集对应，比通用基准更贴近实际开发
核心事实
时间轴 (近 90 天)
模型卡给出的 GLM-5.3-Flash 基准成绩：Terminal-Bench 2.1 为 84.3，DeepSWE 为 63.4。
Opus 5.5 在 TerminalBench 上得分 66.4%，高出 DeepSeek 1017 约 24 分；GPT 6.1 Sol 在 DeepSWE 上以 75.2% 略微领先 1017。
DeepSeek 公布的 11 项基准中，1017 全部超越前代：Tools 从 36.8 升至 42.6，DeepSWE 从 74.2 升至 77.0，ProgramBench 从 20.3 升至 29.1，TerminalBench 4.0 从 31.2 升至 42.3。
DeepSeek-V4.1-Flash-1017在DeepSWE编码基准上以平均每任务略低于0.20美元的成本达到77.0%的准确率（最高设置），低设置下约72%准确率对应约0.10美元。
据DeepSeek图表，竞品模型在相同DeepSWE基准上的每任务成本在2美元到10美元以上。
前代模型在DeepSWE上以约0.50美元每任务达到74.2%的准确率。
V4.1-Flash-1017 在 DeepSWE 评测集上得分为 77.0 分。
评测集分数与实际开发体验存在落差，来源包括任务分布差异（真实需求更模糊）、工具链依赖（实际项目构建测试有噪声）、输出长度约束（短输出在协作场景可能减分）。
DeepSWE 属于 SWE-bench 这一类软件工程评测的衍生或同类基准，评分通常是「解决的 issue 比例」。
DeepSeek v4.1 Flash 1017 已发布，并在技术社区引发了广泛关注，但官方披露的细节有限。
还有 40 条时间轴事件
全部知识事实 (20)
DeepSWE系列基准用于衡量模型在真实软件工程场景中的自主端到端工程能力
85%已验证DeepSWE是面向软件工程场景的代码能力评测基准，任务来源于真实的GitHub Issue修复场景
75%已验证GPT-6.1 Sol 在 DeepSWE 基准上于高推理努力等级下表现最佳
70%已验证V4.1 Flash在DeepSWE基准上以0.2分的微弱优势超过Opus 5
70%已验证V4.1-Flash-1017 在 DeepSWE 评测集上得分为 77.0 分。
65%已验证Argon 在 DeepSWE 测试中取得 77.9% 的成绩，刷新纪录
65%已验证DeepSeek v4.1 Flash 1017 已发布，并在技术社区引发了广泛关注，但官方披露的细节有限。
80%部分验证DeepSeek-V4.1-Flash-1017在DeepSWE编码基准上以平均每任务略低于0.20美元的成本达到77.0%的准确率（最高设置），低设置下约72%准确率对应约0.10美元。
65%待验证DeepSeek官方公布V4 Pro在Terminal Bench基准测试中得分高达87.9
60%待验证DeepSeek 的模型 V4 Flash 0731 在 Terminal-Bench 2.1 上取得了 82.7% 的成绩
60%待验证模型卡给出的 GLM-5.3-Flash 基准成绩：Terminal-Bench 2.1 为 84.3，DeepSWE 为 63.4。
50%待验证DeepSeek 公布的 11 项基准中，1017 全部超越前代：Tools 从 36.8 升至 42.6，DeepSWE 从 74.2 升至 77.0，ProgramBench 从 20.3 升至 29.1，TerminalBench 4.0 从 31.2 升至 42.3。
50%待验证Opus 5.5 在 TerminalBench 上得分 66.4%，高出 DeepSeek 1017 约 24 分；GPT 6.1 Sol 在 DeepSWE 上以 75.2% 略微领先 1017。
50%待验证前代模型在DeepSWE上以约0.50美元每任务达到74.2%的准确率。
50%待验证据DeepSeek图表，竞品模型在相同DeepSWE基准上的每任务成本在2美元到10美元以上。
50%待验证DeepSWE 属于 SWE-bench 这一类软件工程评测的衍生或同类基准，评分通常是「解决的 issue 比例」。
50%待验证评测集分数与实际开发体验存在落差，来源包括任务分布差异（真实需求更模糊）、工具链依赖（实际项目构建测试有噪声）、输出长度约束（短输出在协作场景可能减分）。
50%待验证在相同 harness 下对比 BF16 和 NVFP4，WebVoyager 从 77.72 降至 66.31，DeepSWE 从 24.65 降至 18.2，MMLU-ProX 从 76.91 降至 73.76，其他行差距在噪声范围内。
50%待验证DeepSWE侧重复杂、深度依赖的工程问题；SWE-Marathon强调长链路、多环节的任务，模拟长时间持续工作的场景。
50%待验证SWE-Race评测协议遵循DeepSWE的100步设定，限定智能体的最大操作步数
50%