强化学习解锁通用机器人策略的多任务自我进化

通用机器人策略（generalist robot policies）让单个大模型从海量预训练数据中学会多种任务，零样本泛化能力令人印象深刻。但到了实际部署，这些模型往往还需要一个适应阶段才能达到足够性能。近日一篇来自rss的研究《Reinforcement Learning Enables Scaling Generalist Robot Policy Improvement》指出，基于强化学习（RL）的迭代自我改进有望实现这一适应，但此前这类方法大多只在单任务场景下探索——目标仅仅是提升某个狭窄的部署任务，这与基座策略的多任务能力形成鲜明对比。

该工作核心追问：通用机器人策略能否在部署中实现多任务、通用化的改进——同时面向众多不同任务？什么样的算法配方能促成这一点？

从单任务到多任务：重新定义“改进”

以往的自改进研究聚焦于单任务，即给定一个部署任务，通过在线交互不断优化策略。但通用策略的价值恰恰在于其跨任务能力，如果改进过程只针对单一任务，就可能破坏基座模型原有的泛化性。

作者认为，真正的“通用化改进”应当同时提升多个任务的表现，并且不能以牺牲未参与训练的任务为代价。这要求算法设计必须考虑任务分布的多样性，而非孤立地优化每个任务。

为了系统评估这种能力，研究团队首先构建了一套结构化评测，用于测试通用化改进效果，并围绕价值估计、策略提取和资源分配等算法与实践设计选择展开系统评估。

灾难性遗忘（catastrophic forgetting） 是神经网络持续学习中的经典问题：当模型在新数据或新任务上更新参数时，往往会覆盖此前学到的知识，导致旧任务性能急剧下降。在机器人策略的在线RL改进中，这一风险尤为突出——如果只针对单一部署任务优化，基座模型在多任务预训练中获得的泛化能力可能被破坏。本文所讨论的“通用化改进”本质上是在探索一条避免灾难性遗忘的路径：通过让改进过程覆盖多样化的任务分布，使策略更新不偏离原有能力太远，从而在提升目标性能的同时保留甚至增强对未训练任务的适应力。

关键配方：价值型RL与训练任务分布

实验表明，通用策略不仅能在多样任务上实现在线改进，而且正确的配方还能带来泛化——在在线训练中未涉及的任务上性能也能提升。作者刻画了这种泛化发生的条件，并指出两个关键因素：训练任务分布和价值型RL的使用。

训练任务分布决定了策略接触到的任务多样性，而价值型RL（value-based RL）则通过值函数估计为策略提供更稳定的学习信号。两者结合，使得策略在改进过程中既能专精于部署任务，又能保持甚至增强对未知任务的适应力。

这一发现挑战了“RL改进必然导致灾难性遗忘”的直觉，为机器人基座模型的持续进化提供了新思路。

价值型强化学习（value-based RL） 与策略梯度方法的核心区别在于，它先学习一个值函数（如Q函数）来估计状态或状态-动作对的长期回报，再基于该值函数提取策略。常见的价值型算法包括DQN、SAC（软演员-评论家）中的 critic 部分等。在机器人连续控制场景中，价值型RL的优势在于值函数提供了密集且相对稳定的学习信号，能够缓解策略梯度方法的高方差问题，使多任务在线更新更加平稳。本文强调价值型RL是关键配方之一，正是因为准确的价值估计有助于策略在多样任务间共享学习信号，而不是各自为战地追逐高方差梯度。

结构化评测与设计选择

作者设计了一套结构化评测来量化通用化改进能力，并系统比较了不同设计选择的影响。评测覆盖价值估计方法、策略提取方式以及计算资源分配策略。

结果显示，算法配方的细微差别会显著影响泛化性能。例如，价值估计的准确性直接关系到策略更新的方向，而资源分配则决定了多任务学习的效率。这些实践洞见对于将RL应用于真实机器人部署具有指导意义。

据作者称，这是首批关于机器人基座模型在线通用化改进的证据之一。该研究为通用机器人策略的部署后持续学习开辟了新方向，也提示未来工作需进一步探索任务分布的设计原则与RL算法的扩展性。

策略提取（policy extraction） 指从已学习的价值函数或动作价值分布中导出实际执行策略的过程。在价值型RL中，常见做法包括贪心选择（argmax Q）、软最大化（softmax over Q）或通过单独的策略网络进行蒸馏。策略提取方式直接影响行为的选择性和探索性：过于贪心可能导致策略在任务间切换时僵化，过于随机则可能损害已学技能。本文将其列为系统评估的设计维度之一，说明在多任务通用化改进中，如何从价值估计中稳定地提取策略，与价值估计本身同样重要。

对机器人基础模型的意义

这项研究将强化学习从单任务微调推进到多任务通用化改进，意味着机器人基座模型在部署后可以像人类一样通过实践不断进步，且进步不局限于当前任务。对于需要适应开放环境的通用机器人而言，这种在线自我改进能力至关重要。

当然，该工作仍处于早期阶段，评测规模与真实场景的复杂性尚有差距。但其所揭示的价值型RL与任务分布的关键作用，为后续研究提供了可复现的起点。