知识动态实体播客深度开发者关于

[控场AI]

AI 领域实时知识。所有信息可溯源验证，数据 24 小时内持续更新。

Powered by 240+ first-hand AI sources

知识库

知识动态
热门实体
播客

开发者

CLI
MCP Server
REST API
关于

© 2026 KongchangAI. 控场AI，获取最新、最准的 AI 领域知识

待验证50% 置信基准精确时间

SWE-bench要求模型解决GitHub上的真实issue，其通过率即便对最强模型也不超过50%

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/14

首次发现

有效期至：2026/10/12

来源

AI能写Ruby却读不懂代码库？5模型13项目实测揭秘

相关事实

待验证SWE-bench要求模型在真实GitHub仓库中定位问题并生成可通过CI测试的补丁，以Resolve Rate作为核心指标80% 相似待验证SWE-bench要求模型在真实GitHub代码仓库中定位并修复bug，通过率从最初的不到2%逐步提升到20%以上79% 相似待验证2024年多项针对SWE-bench的评估显示，最先进的AI代理在真实GitHub Issue的解决率上仅在20%~50%区间77% 相似待验证SWE-bench要求模型解决GitHub上真实的软件缺陷，是评估Agent级编程能力的权威基准77% 相似待验证SWE-bench基于12个真实开源项目的2,294个GitHub issue，目前最高通过率的系统仅在50%左右75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/509006

API

curl https://kongchang.com/api/v1/knowledge/claims/509006

MCP

get_claim(id=509006)