待验证50% 置信事实精确时间

SWE-bench使用真实GitHub Issue评测代码能力，但仍是离线静态评估，无法模拟真实Agent任务中的网络延迟、API变更等动态因素

1

来源数

50%

置信度

长期有效

时效性

2026/8/5

首次发现

来源

QwenGrowthPlan千问成长计划：真实任务驱动AI模型迭代新范式

相关事实

待验证SWE-bench评估模型解决真实GitHub issue的能力，LiveCodeBench使用竞赛编程题目防止数据泄露77% 相似待验证SWE-bench要求模型解决GitHub上真实的软件缺陷，是评估Agent级编程能力的权威基准76% 相似待验证SWE-bench评估模型解决真实GitHub Issue的能力，被认为比HumanEval更贴近Agent实际工作场景76% 相似已验证SWE-bench直接使用真实的GitHub Issue作为测试题目，要求模型在完整代码仓库中定位并修复Bug75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/688243

API

curl https://kongchang.com/api/v1/knowledge/claims/688243

MCP

get_claim(id=688243)