RoboRSI:机器人自我进化系统在复杂现实环境中稳定复用

RoboRSI 用分层技能细化与多角色协作,让机器人组织经验、复用技能并持续自我改进。
RoboRSI 是一个面向通用机器人自我进化的系统,核心是自顶向下技能细化(TSR):将任务分解为复合、原子和基础技能,每层都有明确的责任范围和输入-输出契约,使执行结果能精准归因到特定分支,并把修订限制在该分支内。在此结构上,Manager、Planner、Engineer、Reviewer 四个角色协作完成规划、执行、诊断与验证发布,人类通过目标和修正进行引导。在移动操作平台上,系统经 104 轮迭代开发出多物体家庭清理能力;在 LIBERO、LIBERO-PRO、LIBERO-Plus 和 RoboTwin 等仿真基准中,成功率超过最强基线 2.7 至 11.0 个百分点。稳定的技能序列还可整合为可复用复合技能,提升后续任务效率。
机器人自我进化的核心挑战
通用机器人不仅能执行多样任务,更应通过经验提升能力,将执行中学到的知识转化为后续任务可复用的技能。当前,通过代码行动的机器人代理已经能够根据执行反馈修复程序,但如何围绕任务结构组织这些经验,使每次修复都能归因到相应的能力分支,并有执行证据支撑、在复用前经过验证,仍是一个核心挑战。
据研究团队介绍,他们提出了 RoboRSI——一个基于自顶向下技能细化(Top-Down Skill Refinement, TSR) 的机器人自我改进系统。该系统旨在解决经验组织与技能复用的关键问题。

基于代码行动的机器人代理(Code-as-Policy)是一类让机器人通过编写与执行程序来完成任务的范式:机器人代理生成一段代码(例如调用抓取、移动、放置等原语),在真实或仿真环境中执行后,依据观测到的成功或失败反馈修改代码。相比直接输出底层动作序列,这种方式具有更强的可解释性与可复用性,因为程序结构本身携带了任务的逻辑分解信息。典型代表如 Code-as-Policies、Voyager 等工作,均通过“生成—执行—反馈—修复”的循环让代理逐步提升。然而这类方法通常把整段程序当作一个不可分割的整体来修复,缺乏对任务内部结构的显式建模,因而难以判断究竟是哪个子能力出了问题、修复是否会影响其他能力,这正是 RoboRSI 试图解决的关键缺口。
TSR:分层技能与责任归属
TSR 将任务分解为复合技能、原子技能和基础技能,每层技能都有明确的责任范围和显式的输入-输出契约。当执行结果出现时,系统能够将结果归因到负责的分支,并将修订限制在该分支内。这种结构化的方式确保了经验能够被有效组织和复用。
具体而言,每个技能都有明确的边界,避免了传统方法中经验混乱、难以追踪的问题。通过将任务分解为层级结构,机器人可以更精准地定位问题所在,并针对性地进行改进。
技能分层与契约式接口借鉴了软件工程中的模块化设计思想。在传统机器人系统中,技能往往是扁平且相互耦合的,一个动作的失败可能牵连多个模块,导致调试困难。TSR 的分层结构让每层技能都定义清晰的输入-输出契约:上层技能只依赖下层技能的接口,而不关心其内部实现。这样一来,当某次执行失败时,系统可以沿着调用链自顶向下定位到最可能负责的分支,只修改该分支而保持其余部分不变。这种“局部修订、全局稳定”的机制,既避免了灾难性遗忘,也让修复过程可追溯、可验证,为后续技能的复用和组合提供了结构保障。
多角色协作与人类引导
在 TSR 结构之上,RoboRSI 通过 Manager(管理者)、Planner(规划者)、Engineer(工程师)和 Reviewer(审查者) 四个角色的协同工作,完成规划、执行、诊断和新技能的验证发布。
人类则通过目标和修正来引导整个过程,确保系统朝着正确的方向进化。稳定的技能序列还会被进一步整合为可复用的复合技能,从而提升后续任务的执行效率。这种多角色协作机制模拟了人类团队的开发流程,提高了系统的可靠性和可解释性。
真实世界与仿真环境中的表现
在移动操作机器人平台上,RoboRSI 通过 104 轮迭代,开发出了多物体家庭清理能力。这一成果展示了系统在复杂真实环境中的稳定性和效率。
在仿真环境中,RoboRSI 在 LIBERO、LIBERO-PRO、LIBERO-Plus 和 RoboTwin 等基准测试中取得了最高成功率,超过最强基线 2.7 至 11.0 个百分点。这些结果验证了该系统在不同任务和环境下的泛化能力。
文中提到的 LIBERO 系列是机器人学习领域广泛使用的操作基准,包含大量语言条件化的长程操作任务,用于评估策略的泛化与持续学习能力;LIBERO-PRO、LIBERO-Plus 则是其扩展版本,分别在任务难度、干扰鲁棒性或任务多样性上做了加强。RoboTwin 则是一个面向双臂协同操作的仿真基准,强调双手配合与精细操控。这类基准通常以任务成功率作为核心指标,并区分“已见任务”和“未见任务”来考察泛化。RoboRSI 在这些基准上取得最高成功率,说明其技能组织方式不仅适用于单一场景,还能跨任务、跨环境迁移,这是评估自我改进系统是否真正“通用”的重要证据。
意义与展望
RoboRSI 的提出为机器人自我进化提供了新的思路:通过结构化的技能分解和多角色协作,机器人能够更高效地积累和复用经验。随着技术的进一步发展,这种自我改进系统有望在家庭服务、工业自动化等领域发挥重要作用,推动通用机器人的实际应用。
未来,研究团队可能会进一步探索如何将 RoboRSI 扩展到更多类型的任务和环境中,以及如何减少对人类引导的依赖,实现更高程度的自主进化。
相关推荐

神经网络本质是线性回归?华为300集AI课讲师用TensorFlow Playground讲透深度学习
华为300集AI深度学习教程中,讲师用TensorFlow Playground演示神经网络本质是线性回归,讲透机器学习与深度学习在特征工程上的核心差异,以及2012年大数据时代为何成为深度学习崛起的分水岭。

WorkBuddy做AI漫剧全流程:8步从零到成片
基于B站教程梳理WorkBuddy制作AI漫剧的完整八步流程:从选题策划、剧本分镜到图片资产、视频生成、配音剪辑与导出发布,并解析WorkBuddy的专家技能机制与逐个召唤专家的实操技巧,适合零基础入门。

Codex实战教程:从安装到多智能体协同
基于B站Codex实战教程,系统梳理Codex从安装配置、CLI交互、斜杠指令、AGENTS.md架构到MCP协议、多智能体协同与企业级插件开发的完整路径,帮助开发者理解AI Agent的工程化用法。