待验证50% 置信基准精确时间
根据SWE-RPG基准论文数据,当前顶级编程代理在真实GitHub问题上的平均解决率仅为31.5%
1
来源数
50%
置信度
长期有效
时效性
2026/8/24
首次发现
来源
涉及实体
相关事实
待验证SWE-bench基于12个真实开源项目的2,294个GitHub issue,目前最高通过率的系统仅在50%左右77% 相似待验证2024年多项针对SWE-bench的评估显示,最先进的AI代理在真实GitHub Issue的解决率上仅在20%~50%区间77% 相似待验证SWE-bench要求模型解决GitHub上的真实issue,其通过率即便对最强模型也不超过50%75% 相似待验证在 SWE-bench 真实 GitHub Issue 修复任务中,不同厂商模型的修复成功率差异可达15-30个百分点74% 相似待验证GitHub 在 Copilot 报告中披露开发者平均接受率约为 30%–40%74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/794278API
curl https://kongchang.com/api/v1/knowledge/claims/794278MCP
get_claim(id=794278)