Forge 1.0
LeanZero开发的智能体编码基准,基于在无联网环境下构建Atlassian Forge应用的任务,用于评估AI模型的agentic编程能力
时间轴 (近 90 天)
该数据集目前包含 94 行记录,每行对应一个模型在一个榜单上的表现,覆盖 Gauntlet 7.2、Forge 1.0 和 Forge 2.0 三个榜单。
Gauntlet 7.2 基准要求模型构建一个支付应用;Forge 1.0 和 Forge 2.0 要求构建或升级一个面向 Jira 的 Atlassian Forge 应用。
Gauntlet 和 Forge 1.0 榜单的每行数据仅有单次运行,运行间噪声真实存在,作者建议分数只差百分之几时不应过度解读。
该数据集成本字段不完整:Gauntlet 仅一行记录了成本;Forge 1.0 的数字是下界;Forge 2.0 的大部分数字完整。
在 Forge 1.0 基准上,Haiku 得分 0.9661,Luna 得分 0.395,Haiku 距离 Claude Opus 5.5 仅差 0.0106
Luna 在 Forge 测试中从未导入历史变更,62 条历史变更一条没进,触发标注为 critical 的 backfill 检查,将整轮分数从 0.6583 乘以 0.6 变成 0.395
全部知识事实 (4)
该数据集目前包含 94 行记录,每行对应一个模型在一个榜单上的表现,覆盖 Gauntlet 7.2、Forge 1.0 和 Forge 2.0 三个榜单。
50%待验证Gauntlet 7.2 基准要求模型构建一个支付应用;Forge 1.0 和 Forge 2.0 要求构建或升级一个面向 Jira 的 Atlassian Forge 应用。
50%待验证Gauntlet 和 Forge 1.0 榜单的每行数据仅有单次运行,运行间噪声真实存在,作者建议分数只差百分之几时不应过度解读。
50%待验证该数据集成本字段不完整:Gauntlet 仅一行记录了成本;Forge 1.0 的数字是下界;Forge 2.0 的大部分数字完整。
50%