多轮强化学习究竟提升了LLM智能体的什么？

多轮智能体强化学习（Agentic RL）在长程任务上表现亮眼，但一项新的研究揭示了一个容易被忽视的事实：它的性能增益高度依赖交互约束。当采样宽度K和交互深度T变化时，RL带来的优势会显著波动。这项研究通过Pass@(K,T)指标系统评估了多轮RL的真实收益，并提出了名为BudgetMix RL的替代方案，试图缓解部署中的预算依赖风险。

多轮RL的收益并非无条件成立

研究团队的核心发现是：轨迹级RL的优势需要足够的轮次预算才能体现。在Pass@(K,T)框架下，当交互深度T或采样宽度K收紧时，RL带来的性能提升会明显衰减。这意味着，许多在宽松预算下报告的增益，在真实部署环境中可能大打折扣。

这一结论对智能体落地有直接启示。实际应用中，API调用次数、上下文长度和响应延迟都构成硬约束，模型很难获得训练时那样充裕的交互轮次。如果RL策略过度依赖"多试几次"来解决问题，那么在预算受限时，其表现可能迅速退化。

Pass@(K,T) 指标借鉴了代码生成评估中常用的 Pass@K 思想，但将其扩展到多轮交互场景：K 表示对同一任务独立采样的轨迹条数（采样宽度），T 表示单条轨迹允许的最大交互轮次（交互深度）。只有当 K 条轨迹中至少一条在 T 轮内成功完成任务时，才计为通过。这一指标的价值在于把“模型能力”与“可消耗的预算”解耦——固定 K 与 T 就固定了推理时的计算与调用成本，从而能刻画模型在特定部署预算下的真实成功率。相比单点 Pass@1，Pass@(K,T) 曲线随 K、T 变化的斜率，直接反映了性能对预算的敏感程度，是判断 RL 增益是否“可部署”的关键工具。

单步决策质量并非全面提升

一个反直觉的发现是，智能体RL并不会均匀地提升每一步决策的质量。研究显示，其优势主要集中在错误恢复和长程韧性上：模型更擅长在犯错后调整策略、在长链条任务中维持目标一致性，而非在单个决策点上变得更聪明。

这重新定义了我们对RL作用的认知。它更像是在训练一种"抗挫折能力"，而非直接注入更强的推理能力。对于开发者而言，这意味着评估智能体时，应重点关注其在失败后恢复的轨迹，而非仅看单步准确率。

轨迹级 RL 与单步决策的区别值得厘清。轨迹级（trajectory-level）RL 以整条多轮交互的最终结果（成功/失败或累积回报）作为学习信号，通过策略梯度等方法把信用分配给沿途的各个动作；而单步监督或过程奖励则直接对每个中间决策打分。前者信号稀疏但贴合任务目标，后者信号密集却依赖高质量的过程标注。这解释了为何轨迹级 RL 更容易塑造“犯错后恢复、长链条维持目标”的行为，却难以让模型在孤立决策点上变得更准确——因为稀疏的终局奖励主要区分的是整条轨迹的成败模式，而非精细的单步优劣。

过程监督信号与BudgetMix RL

为应对预算依赖带来的部署风险，论文初步探讨了过程监督信号的利弊，并提出了BudgetMix RL。该方法在训练阶段主动变化交互预算，让模型适应不同的执行约束，从而在多样化的部署设置下保持稳健性能。

实验表明，BudgetMix RL在多种执行设置下均表现出更好的鲁棒性。这一思路的实用价值在于：与其追求在理想预算下的峰值性能，不如训练一个对预算变化不敏感的智能体，这对真实产品环境更为友好。

**过程监督（process supervision）**指对推理或交互的中间步骤给出反馈信号，而非只评判最终结果。在智能体场景中，它可以表现为对每一步工具调用是否合理、子目标是否达成的即时打分或奖励。其优势是提供更密集的学习信号、缓解长程任务中的信用分配难题；弊端则在于标注成本高、过程奖励本身可能不准确，且模型容易过拟合到“看起来正确”的中间步骤而偏离最终目标。论文初步探讨其利弊，正是为了说明：在预算受限的多轮设定下，单纯依赖过程信号并不足以解决鲁棒性问题，还需要配合预算层面的训练策略调整。

对智能体开发的启示

这项研究提醒我们，评估多轮RL智能体时不能只看单一预算下的分数。开发团队应引入类似Pass@(K,T)的多维评估，明确模型在不同交互约束下的表现边界。同时，训练策略上可以考虑预算随机化，以提升部署适应性。

智能体RL的进步是真实的，但它的边界同样真实。理解这些边界，比盲目追求榜单提升更有意义。