SWE-bench Lite
SWE-bench的精简版本，包含300个来自12个Python仓库的真实GitHub issue任务，用于评估语言模型解决真实软件工程问题的能力
时间轴 (近 90 天)
原始 SWE-bench 包含 2294 个任务，覆盖 12 个 Python 仓库；SWE-bench Lite 有 300 个精选任务，SWE-bench Verified 有 500 个人工验证任务。
SWE-bench Lite 是 SWE-bench 的精简子集，保留约 300 个任务，以降低评测成本。
UC Berkeley 的研究用 7 个前沿模型在多种 harness 上测试，发现对于较新的、更聪明的模型，harness 选择在 SWE-bench Lite 得分上没有显著差异。
UC Berkeley的一项研究让七种前沿模型在Pi、Codex、Cloud Code等多个harness上跑SWE-bench Lite，发现在更新、更聪明的模型上，harness的选择对分数没有显著影响。
UC Berkeley 的一项研究用七种前沿模型测试了 Pi、Codex、Claude Code 等多个 Harness，发现在较新、较聪明的模型上，Harness 的选择对 SWE-bench Lite 分数没有显著影响。
全部知识事实 (6)
SWE-bench Lite精选了300个更具代表性的子集
90%待验证原始 SWE-bench 包含 2294 个任务，覆盖 12 个 Python 仓库；SWE-bench Lite 有 300 个精选任务，SWE-bench Verified 有 500 个人工验证任务。
50%待验证SWE-bench Lite 是 SWE-bench 的精简子集，保留约 300 个任务，以降低评测成本。
50%待验证UC Berkeley 的研究用 7 个前沿模型在多种 harness 上测试，发现对于较新的、更聪明的模型，harness 选择在 SWE-bench Lite 得分上没有显著差异。
50%待验证UC Berkeley的一项研究让七种前沿模型在Pi、Codex、Cloud Code等多个harness上跑SWE-bench Lite，发现在更新、更聪明的模型上，harness的选择对分数没有显著影响。
50%待验证UC Berkeley 的一项研究用七种前沿模型测试了 Pi、Codex、Claude Code 等多个 Harness，发现在较新、较聪明的模型上，Harness 的选择对 SWE-bench Lite 分数没有显著影响。
50%