待验证60% 置信事实时间未知

Devin 2.0在SWE-bench基准测试中解决了13.86%的实际编程问题，而此前的AI模型仅为1.96%

2

来源数

60%

置信度

中期 (~90 天)

时效性

2026/5/31

首次发现

有效期至：2026/8/29

来源

Devin 2.0深度评测：月费20美元的AI编程代理到底值不值

bilibili攒钱换房车的福叔

涉及实体

Devin 2.0product SWE-benchconcept

相关事实

已验证Devin在SWE-bench测试中解决了13.86%的真实GitHub Issues，高于Claude 2的表现72% 相似待验证2023年普林斯顿大学的SWE-bench基准测试显示，当时最先进的AI编程工具在真实GitHub Issue修复任务中的成功率仅约13%70% 相似待验证测试中约1-2B的小模型无法在大段系统提示词中准确定位并完成复杂工具调用任务68% 相似待验证一位Reddit开发者采用遗传算法结合多层感知机（MLP）的方案优化登机问题，在模拟中跑出比Steffen方法快9.6%的结果67% 相似待验证4条基础规则能将AI编程错误率从41%压到11%67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/3194

API

curl https://kongchang.com/api/v1/knowledge/claims/3194

MCP

get_claim(id=3194)