当Agent失败时，该怪模型还是执行框架？

引言：Agent失败时，谁该背锅？

当一个LLM Agent在基准测试中表现不佳时，我们习惯性地归咎于模型能力不足。但一篇来自rss的研究提出了一个被忽视的关键问题：Agent的表现实际上是模型与执行框架（harness）共同作用的结果。换句话说，当Agent失败时，责任可能并不完全在模型身上。

研究者指出，LLM Agent由模型和执行框架组合而成，因此Agent基准测试的性能反映的是两者的联合行为。基于这一认识，他们主张应当通过框架与底层模型的交互方式来评估框架本身，而非孤立地看模型分数。这一视角的转变，对于理解Agent系统的真实能力边界不能忽视。

LLM Agent（大语言模型智能体）是指以大型语言模型为核心推理引擎，能够自主规划、调用工具、与环境交互并完成多步任务的系统。与单轮问答不同，Agent通常需要循环执行「观察—思考—行动」的过程，因此其行为不仅取决于模型本身的推理与生成能力，还高度依赖外部的执行框架（harness）。Harness一词 borrowed 自软件测试领域，原指包裹被测代码、负责驱动执行与捕获结果的外壳；在Agent语境下，它指封装模型、管理上下文、解析工具调用、处理错误重试与终止条件的运行时基础设施。同一个模型接入不同harness，可能因提示模板、工具描述格式、上下文截断策略的差异而表现出截然不同的成功率，这正是本文将评估单元从「模型」扩展到「模型—框架配对」的根本原因。

五个互补维度：重新定义评估框架

为了系统性地评估模型与框架的交互，研究者开发了一个包含五个互补指标的评估框架。这些指标从不同角度揭示了Agent执行过程中的关键特征。

Valid Completion Rate（VCR）：有效完成率

VCR衡量的是Agent可靠地正常结束并交付可评估结果的比例，它与任务正确性无关。这个指标的价值在于区分“跑完了但做错了”和“根本没跑完”两种情况。一个Agent可能给出了错误答案，但至少完成了执行流程；而另一个Agent可能因为框架问题中途崩溃，连可评估的输出都没有。

Model-Harness Fit与Cross-Model Fit

Model-Harness Fit衡量的是对于给定模型，某个框架通过有效完成来支持任务达成的程度。Cross-Model Fit则是一个框架在所有评估模型上的整体适用性。这两个指标揭示了框架并非“一刀切”的通用工具——同一个框架在不同模型上的表现可能截然不同。

Interaction Residuals：交互残差

Interaction Residuals捕捉的是特定配对下隐藏的执行优劣势，这些信息被组件级别的汇总数据所掩盖。简单来说，当你只看模型总分或框架总分时，某些配对特有的问题可能完全不可见。

残差（residual） 在统计学与机器学习中通常指观测值与模型预测值之间的差值，即模型未能解释的部分。交互残差借用了这一思想：若把Agent在某个任务上的表现分解为「模型主效应」「框架主效应」和「两者交互效应」，那么交互残差就是剔除前两者后仍剩余的、特定模型—框架配对独有的偏差。在双因素方差分析（two-way ANOVA）框架下，交互效应显著意味着一个因素的效果依赖于另一个因素的水平——这正是「框架排名因模型而异」的统计表达。Interaction Residuals的价值在于，它把这种配对特有的优劣从聚合平均分中剥离出来，使研究者能够识别那些被「模型总分」或「框架总分」平滑掉的隐藏问题，例如某框架对特定模型的工具调用格式存在系统性不兼容。

Token Load：Token负载

Token Load衡量Agent执行的Token需求，包括失败尝试在内的所有消耗。这个指标在经济层面至关重要——一个框架可能任务完成率很高，但Token消耗巨大，实际部署成本远超预期。

Token 是LLM处理文本的基本计量单位，一个token大致对应英文中半个到一个单词，中文中约一到两个汉字。模型的API计费、上下文窗口上限以及推理延迟通常都以token数衡量。Token Load之所以重要，是因为Agent的多步执行会显著放大消耗：一次任务可能包含数十轮模型调用，每一轮都要重新传入系统提示、工具定义和历史轨迹，失败后的重试还会进一步累积。因此，即便两个配对的任务成功率相同，Token Load更高的那个在真实部署中的单位任务成本可能高出数倍。将Token Load纳入评估，实质上是把「能力指标」与「经济指标」并列，避免出现完成率漂亮但成本不可持续的「纸面最优」框架。

实验规模：111种设置、52168条轨迹

研究的实验规模相当可观。研究者评估了四个通用框架（OpenCode、Codex CLI、Pi CLI和DeepAgents）搭配四个核心模型，加上两个固定的原生模型-框架系统，覆盖六个基准测试，涉及上下文管理、工具使用、长上下文规划、多模态交互和工件交接等能力维度。

包括原生参照和压力条件在内，111种评估设置共产生了52168条轨迹。这一数据量足以支撑对模型-框架交互模式的深入分析。

实验得出了几个值得关注的发现：框架排名因模型和基准而异；任务性能和有效完成率可能偏向不同的配对；相似的任务得分可能伴随截然不同的执行剖面。这些发现直接挑战了“单一框架排名”的评估思路。

核心发现：没有万能框架

实验数据揭示了几个反直觉的结论。

OpenCode在跨模型性能上排名第一，这意味着它在多个模型上的综合表现最为稳定。但同时，DeepSeek^广告 V4 Flash Preview在共享的四基准面板上，跨框架保持了持续较高的平均VCR。这两个“第一”指向不同的维度——一个是框架的综合适配性，另一个是模型在有效完成上的稳定性。

更关键的是，框架排名会因搭配的模型和基准而变化。一个在某个模型上表现优异的框架，换一个模型可能就失去了优势。任务得分相似的配对，其执行剖面可能大相径庭——有的可能Token消耗更低，有的可能失败恢复能力更强。

这些发现支持三个方向性建议：评估模型-框架的交互而非孤立组件；在模型中训练可迁移的框架使用能力；以及设计与模型和任务相适应的框架。

实践启示：从“选模型”到“选组合”

对于构建Agent系统的团队来说，这项研究传递了一个明确的信号：不要只看模型排行榜，也不要只看框架的通用评价。真正重要的是你的模型和你的框架在你关心的任务上的配对表现。

具体而言，VCR应该成为部署前的重要检查项——一个连有效完成都做不到的配对，任务正确性无从谈起。Token Load则需要纳入成本模型，特别是当Agent需要多次重试时。而Interaction Residuals提醒我们，组件级别的汇总数据可能掩盖了配对特有的问题，需要针对具体组合进行验证。

研究者还提出了一个更长远的方向：在模型中训练可迁移的框架使用能力。如果模型能够学会更好地利用不同框架的特性，那么框架选择的灵活性将大幅提升。这或许比单纯追求更强的模型或更优的框架更有价值。

结语

Agent失败时该怪谁？答案不是二选一。模型和执行框架的交互才是决定Agent表现的关键变量。这项研究提供的评估框架——VCR、Model-Harness Fit、Cross-Model Fit、Interaction Residuals和Token Load——为系统性地理解这种交互提供了工具。对于Agent开发者而言，这意味着评估策略需要从“选最好的模型”转向“找最合适的配对”。