共 3 篇相关文章

SWE-agent团队实验发现,mini-SWE-agent在GPT-5和Claude Sonnet 4之间随机切换,SWE-bench得分竟超越任何单一模型。本文深入解析轮盘模式的实验数据、成本分析与背后的多样性假说。

mini-SWE-agent团队对GPT-5系列在SWE-bench基准上的评测显示,GPT-5性能与Claude Sonnet 4持平,而GPT-5-mini以不到五分之一的成本仅损失约5个百分点性能,成为AI编程Agent的最佳性价比选择。

深入解析SWE-bench Multilingual基准测试,涵盖9种编程语言、300个真实GitHub任务,了解其设计方法、语言分布、评估指标及对AI编程助手能力评估的重要意义。