[控场AI]
基准

Forge 1.0

LeanZero开发的智能体编码基准,基于在无联网环境下构建Atlassian Forge应用的任务,用于评估AI模型的agentic编程能力

时间轴 (近 90 天)

10月18日

该数据集目前包含 94 行记录,每行对应一个模型在一个榜单上的表现,覆盖 Gauntlet 7.2、Forge 1.0 和 Forge 2.0 三个榜单。

待验证50%
10月18日

Gauntlet 7.2 基准要求模型构建一个支付应用;Forge 1.0 和 Forge 2.0 要求构建或升级一个面向 Jira 的 Atlassian Forge 应用。

待验证50%
10月18日

Gauntlet 和 Forge 1.0 榜单的每行数据仅有单次运行,运行间噪声真实存在,作者建议分数只差百分之几时不应过度解读。

待验证50%
10月18日

该数据集成本字段不完整:Gauntlet 仅一行记录了成本;Forge 1.0 的数字是下界;Forge 2.0 的大部分数字完整。

待验证50%
10月12日

在 Forge 1.0 基准上,Haiku 得分 0.9661,Luna 得分 0.395,Haiku 距离 Claude Opus 5.5 仅差 0.0106

已过期50%
10月12日

Luna 在 Forge 测试中从未导入历史变更,62 条历史变更一条没进,触发标注为 critical 的 backfill 检查,将整轮分数从 0.6583 乘以 0.6 变成 0.395

已过期50%

全部知识事实 (4)

来源文章