LeanZero
开发agentic编程基准测试与评测平台的团队，发布Gauntlet与Forge系列基准测试及公开数据集
时间轴 (近 90 天)
LeanZero 团队将其 agentic coding 基准测试的全部行数据、每轮构建得分、推理成本及回放链接打包成公开数据集并发布在 Hugging Face 上，并搭建了榜单 Space。
该基准测试并非 SWE-bench 或 Terminal-Bench 风格的任务，而是对真实应用的长周期 agentic 构建，评分检查项由团队自己编写，可能带有盲区。
在 LeanZero 的两套 agentic 编码基准测试中，Haiku 5.5 两场全胜，且两次运行账单合计 1.62 美元，Luna 仅 0.46 美元，相差约 3.6 倍
作者承认该 bug 是自家 goose 的缺陷并已提交修复，估算若正确截断，该轮运行成本会从约 1.15 美元降到约 0.48 美元
每个模型在每个榜单上只跑一次，单次运行无法区分模型实力与运气，所有结论应读作「这些运行里发生了什么」而非关于模型的定律
全部知识事实 (4)
该基准测试并非 SWE-bench 或 Terminal-Bench 风格的任务，而是对真实应用的长周期 agentic 构建，评分检查项由团队自己编写，可能带有盲区。
50%待验证作者承认该 bug 是自家 goose 的缺陷并已提交修复，估算若正确截断，该轮运行成本会从约 1.15 美元降到约 0.48 美元
50%待验证每个模型在每个榜单上只跑一次，单次运行无法区分模型实力与运气，所有结论应读作「这些运行里发生了什么」而非关于模型的定律
50%待验证LeanZero 团队将其 agentic coding 基准测试的全部行数据、每轮构建得分、推理成本及回放链接打包成公开数据集并发布在 Hugging Face 上，并搭建了榜单 Space。
50%