待验证60% 置信事实时间未知

部分AI Agent系统在SWE-bench上的解题率已突破50%

2

来源数

60%

置信度

中期 (~90 天)

时效性

2026/6/1

首次发现

有效期至：2026/8/30

来源

SWE-bench官方博客上线：AI编程评测标准进入新阶段

twitterSWEbench

涉及实体

SWE-benchproduct

相关事实

待验证目前顶尖AI Agent（如Devin、SWE-agent）在SWE-bench上的解决率约为40-55%80% 相似待验证AI Agent同一个任务在不同上下文长度下，单次Token消耗能飘移5到50倍77% 相似待验证研究表明给 AI 提供足够的上下文约束能将输出代码的可用率提升 50% 以上73% 相似待验证According to Pragmatic Engineer survey data, 55% of code is now generated by AI Agents71% 相似待验证AI Agent工作流的算力消耗可能是单轮对话的50到100倍以上71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/26926

API

curl https://kongchang.com/api/v1/knowledge/claims/26926

MCP

get_claim(id=26926)