JHiMA-WebRL：分层多智能体RL突破长程Web任务

多模态Web智能体正逐步学会像人一样操作浏览器，但真实网页任务往往需要跨页面、多步骤的长期规划，单一策略模型在这种场景下容易迷失方向。一篇来自arXiv的最新研究提出了JHiMA-WebRL框架，尝试用“规划器+执行器”联合训练的思路，让7B级小模型在长程Web导航任务上追平甚至超越更大的单体模型。

长程Web任务：单体策略为何吃力

现有Web智能体大多采用端到端的单体策略，直接根据当前截图和交互历史输出下一步动作。这种做法在短任务上表现尚可，但当任务需要跨越多个页面、经历数十步交互时，模型必须同时承担高层规划、状态追踪和视觉定位三重负担，推理链条容易断裂。

此前已有工作尝试引入独立的规划器来分解任务，但一个关键缺陷常被忽略：规划器通常不参与后续的联合更新，只负责一次性生成子任务，执行过程中出现的偏差无法反馈回规划层。研究者由此提出一个核心问题——如果让规划与执行显式分离，并在强化学习中联合训练，是否能形成更强的归纳偏置？

JHiMA-WebRL的核心设计：分解器与执行器协同

JHiMA-WebRL将Web智能体拆分为两个角色：任务分解器（decomposer）和子任务条件执行器（actor）。分解器负责根据多模态GUI轨迹推断高层子任务，执行器则在给定子任务条件下完成视觉定位与具体操作。

训练分两个阶段。第一阶段用强教师模型从多模态GUI轨迹中构造结构化的子任务监督信号，再用这些标注同时微调分解器和执行器，让两者建立初步的协作基础。第二阶段将Group Relative Policy Optimization（GRPO）扩展到双角色场景，通过分层rollout分组和角色特定的优势估计，在交互式WebArena环境中联合优化两个模块。

这种设计的巧妙之处在于，分解器不再是静态的“一次性规划器”，而是能根据执行反馈持续调整策略，规划与执行之间形成了闭环。

GRPO（Group Relative Policy Optimization） 是一种无需价值网络的强化学习算法，最初用于大语言模型的推理对齐。其核心思想是对同一输入采样一组（Group）输出，以组内奖励的均值和标准差对每个输出的优势进行归一化，从而避免训练额外的评论家（critic）模型，显著降低显存与计算开销。在标准GRPO中，所有输出共享同一策略；而JHiMA-WebRL将其扩展到双角色场景，需要为分解器和执行器分别定义奖励信号并做角色特定的优势估计，同时通过分层rollout保证同一组内样本来自相同的子任务上下文，使组内比较具有可比性。这种改造是联合训练能够稳定收敛的关键技术细节。

实测表现：7B+7B组合优于32B单体模型

在WebArena-Lite-v2基准上，由7B执行器和7B分解器组成的JHiMA-WebRL-14B取得了37.2%的平均成功率。作为对比，研究者在相同训练任务上用强化学习微调的ScaleCUA-32B智能体，在相同评测协议下成功率为24%。

参数量上的对比值得关注：14B的组合模型在成功率上显著领先于32B的单体模型，说明角色分解带来的结构性优势可以部分替代参数规模的扩张。消融实验进一步验证了联合更新的价值——在RL阶段同时更新分解器，效果优于只更新执行器。

WebArena-Lite-v2 是WebArena基准的轻量修订版本。WebArena构建了多个自托管的真实网站副本（如电商、论坛、代码托管平台），要求智能体通过浏览器完成跨站点的长程任务，并以功能正确性而非文本匹配来判定成功。Lite版本精简了任务集与网站数量，降低了评测的环境搭建与运行成本，同时保留了原基准对多步导航和状态追踪的核心考察。v2进一步修正了部分任务的可执行性与判定逻辑。因此，在该基准上的成功率能较真实地反映智能体在交互式网页环境中的长程规划能力，而非简单的静态问答准确率。

对Web智能体研究的启示

这项工作的意义不止于一个基准数字。它提示了一条不同于“把模型做大”的技术路线：通过显式的角色分解和联合强化学习，小模型也能在复杂长程任务上获得竞争力。对于实际部署而言，7B级别的模型在推理成本上具有明显优势，这对需要高频调用Web智能体的产品场景尤为关键。

当然，37.2%的成功率也说明长程Web任务远未被解决，多数任务仍然失败。分解器与执行器之间的信用分配、教师模型标注的质量上界、以及分层rollout带来的训练开销，都是后续需要回答的问题。但联合学习角色分解这一方向，为Web智能体的架构设计提供了一个值得跟进的选项。

信用分配（credit assignment） 问题在多智能体或分层强化学习中指：当最终任务成功或失败时，如何将全局奖励合理地归因到各个子决策或各个角色上。在JHiMA-WebRL中，分解器决定“做什么”，执行器决定“怎么做”，若任务失败，很难判断是子任务分解错误还是执行动作失误。若仅用最终成功率作为稀疏奖励，分解器可能收到误导性信号；若为分解器设计中间奖励，又需依赖教师标注或启发式规则。信用分配的质量直接影响联合训练能否让两个模块形成有效协作，而非一方搭便车或相互推诿，这也是该框架后续改进的重要着力点。