SLATE基准揭示AI智能体短板：单步准确率74%却仅5%任务成功率

AI智能体在单项工具选择上表现亮眼，但一旦要求端到端完成完整工作流，成功率就断崖式下跌。arXiv 2611.03982 论文提出的 SLATE 基准，用一组反差极大的数字把这个长期被忽视的问题摆到了台面上。

SLATE是什么：用100个电商任务检验长程工具选择

SLATE 是一个专门评估 AI 智能体长程 API 选择能力的基准。它构建在确定性的电商模拟器中，包含 100 个电商任务和一个约 1000 个工具的库。

与传统评测的关键区别在于评判标准：SLATE 不看智能体在某一步是否选对了工具，而是看它能否把整个任务从头到尾做完。这个设计直接瞄准了智能体落地时最真实的痛点——用户要的是结果，不是过程分。

据论文披露，基准运行在确定性模拟环境中，这意味着同样的输入会得到可复现的输出，减少了评测噪声。作者同时提醒，模拟器中的结果不应被直接等同于生产环境下的表现。

确定性模拟器指环境状态转移完全由预定义规则决定，相同动作序列必然产生相同观测与奖励，不引入随机性或外部服务波动。这类环境在智能体评测中用于隔离模型能力与系统噪声：若允许真实 API 调用，网络延迟、限流、返回格式漂移都会污染成功率统计。代价是模拟器简化了真实工具的语义丰富度与失败模式，因此论文特意声明结果不能直接外推到生产系统。

端到端任务成功率与单步准确率的区别在于评判粒度。前者要求智能体从初始状态出发，经过任意步数的工具调用，最终使环境达到任务规定的目标状态；后者只检查某一步所选工具是否与标注的正确工具一致。长程任务中，单步准确率可视为每步正确概率的上界估计，而任务成功率近似于各步正确概率的连乘，步数越多差距越大。

数据反差：74.4%与5.0%之间的鸿沟

论文 Table 3 给出了两个模型的表现，数字对比相当刺眼。

Gemma-4-12B-it 的单步准确率达到 74.4%，但端到端任务成功率只有 5.0%。OpenJev-Flash-9B 的情况类似：单步准确率 74.8%，任务成功率 4.7%。

两个模型的单步准确率几乎持平，任务成功率也都在个位数区间徘徊。这说明问题不是某个模型的特例，而是当前智能体能力结构中的共性缺陷。单步选对工具，和把几十上百步串成一条能走通的路径，是两种性质不同的能力。

从数据看，单步准确率与任务成功率之间存在显著落差。在长程任务中，任何一步的偏差都可能累积放大，最终导致整个工作流失败。

为什么单步对了，任务还是做不完

SLATE 的结果指向一个容易被 benchmark 分数掩盖的事实：智能体的能力评估不能只看局部正确率。

长程任务的本质是状态依赖。每一步的工具选择都建立在前一步的结果之上，早期的一个小错可能让后续所有决策都偏离正确轨道。1000 个工具的工具库进一步放大了选择难度——候选空间越大，单步的微小误差越容易在链路中被放大。

这也解释了为什么两个模型单步准确率接近 75%，任务成功率却不到 5%。单步准确率衡量的是「这一刻选得对不对」，任务成功率衡量的是「整条链路能不能收敛到目标」。后者对错误恢复、状态跟踪和规划一致性的要求，远高于前者。

状态依赖与误差累积是理解长程任务失败的两个关键机制。状态依赖指后续可用工具集与参数取值取决于前序调用的返回结果，智能体必须维护一个内部状态表示并与环境实际状态保持同步；一旦某步选错工具或解析错返回值，内部状态就会偏离，后续决策便建立在错误前提上。误差累积则描述单步错误率在链路上的放大效应：即使每步有 95% 的正确率，20 步串联后的全程成功率也只剩约 36%，而 SLATE 中约 75% 的单步准确率对应数十步任务时，理论连乘值本就落在个位数区间。这两个机制共同解释了为何提升单步指标对端到端成功率的增益有限。

对智能体评测与落地的启示

SLATE 的价值不在于给模型排名，而在于提示评测维度的缺失。如果只看单步指标，很容易高估智能体的实际可用性。

对开发者而言，这意味着在构建基于 API 的智能体工作流时，需要把错误累积和状态一致性作为核心设计考量，而不是假设单步正确就能自动带来端到端成功。对评测者而言，端到端任务成功率应当成为与单步准确率并列的核心指标。

论文也明确划定了结论边界：结果来自确定性电商模拟器，不能作为生产环境等价性能的证据。这一点值得所有引用该数据的人保持警惕——模拟器中的 5.0% 说明的是能力结构问题，而不是某个具体线上系统的真实成功率。

常见问题

SLATE 基准测的是什么？

它评估 AI 智能体在长程任务中的 API 选择能力，用 100 个电商任务和约 1000 个工具构成的工具库，检验智能体能否端到端完成任务。

为什么单步准确率高但任务成功率低？

长程任务中每一步依赖前一步的结果，单步误差会在链路中累积放大。单步准确率只反映局部选择质量，任务成功率反映整条链路能否收敛，两者衡量的能力不同。

这些数字能代表生产环境表现吗？

不能。论文明确指出基准运行在确定性电商模拟器中，结果不应被视为生产环境等价性能的证据。