[控场AI]
· 3 分钟阅读· 1,738 字

消费级GPU 7分钟训练人形拳击策略:HoloBoxing开源

消费级GPU 7分钟训练人形拳击策略:HoloBoxing开源

HoloBoxing 冻结全身控制器只训轻量规划器,单卡 7 分钟学会人形拳击。

HoloBoxing 项目提出一种低成本人形机器人拳击策略训练方法:冻结预训练的全身控制器,仅训练上层轻量规划器输出未来身体点位目标,由控制器转化为关节动作。这种技能与决策解耦的设计大幅收窄搜索空间,避免破坏底层运动能力,使训练在单张消费级 GPU 上约 7 分钟完成。该范式强调可复现与模块化,适合小团队快速验证任务策略,但策略上限受预训练控制器能力约束。代码与论文已开源。

人形机器人要学拳击,通常意味着大规模仿真、分布式训练和昂贵的算力账单。但最近 Reddit 上分享的 HoloBoxing 项目给出了一条反直觉的路径:在一张消费级 GPU 上,从零训练一个完整的人形拳击策略,只需要 7 分钟。

HoloBoxing 项目 Reddit 原帖

核心思路:冻结运动控制,只学决策

HoloBoxing 的做法并不是从零学习全部控制逻辑,而是站在一个预训练的全身控制器(whole-body controller)之上。这个控制器已经掌握了关节级的运动执行能力,训练时被完全冻结,不参与更新。

真正被训练的只有上层一个紧凑的规划器(planner)。它的任务是输出未来若干身体点位的目标,下层冻结的控制器再把这些目标翻译成具体的关节动作。换句话说,配方把“可复用的运动技能”和“任务层面的决策”彻底拆开了。

这种解耦带来两个直接好处。其一,训练信号只作用在参数量很小的规划器上,搜索空间大幅收窄;其二,已经学会的平衡、步态等底层能力不会在训练拳击动作时被破坏,避免了端到端训练里常见的灾难性遗忘。

全身控制器(Whole-Body Controller) 是人形机器人运动控制中的常见组件,负责把高层的目标(例如身体某一点的位置或速度)转化为各关节的力矩或位置指令,同时维持平衡与步态稳定。它通常通过强化学习在仿真中大量训练得到,能够处理站立、行走、转向等基础运动。冻结它意味着其参数在后续任务训练中不更新,只作为固定的“下层执行器”使用。这种做法在机器人学习中被称为分层控制(hierarchical control),把感知—决策—执行拆成不同层级,上层负责任务规划,下层负责稳定执行,从而降低学习难度并提升复用性。

灾难性遗忘(Catastrophic Forgetting) 指神经网络在学习新任务时,参数更新会覆盖旧任务学到的知识,导致在原有任务上的性能急剧下降。在端到端训练中,如果直接用拳击任务微调整个控制网络,底层已经掌握的平衡和步态能力可能被破坏。HoloBoxing 通过冻结全身控制器、只训练上层规划器,使底层运动技能不被梯度更新触及,从而在结构上避免了这一问题。这与持续学习领域常用的参数隔离、正则化等方法思路一致,但更简单直接。

为什么 7 分钟就够了

7 分钟这个数字之所以成立,关键不在算法有多快,而在于“训练什么”被重新定义了。全身控制器冻结之后,梯度只穿过轻量规划器,反向传播的代价被压到极低,单卡消费级硬件足以承担。

从工程角度看,这更像是一个模块化范式的胜利:把复杂的机器人控制问题分解成“先学通用身体能力,再学具体任务策略”两段,前一段可以复用、可以预训练,后一段足够轻,迭代成本低到可以快速试错。原文明确把这套流程称为一个“简单的配方”(simple recipe),强调的正是可复现性和低成本,而不是追求某个极限性能指标。

消费级 GPU 在这里指个人电脑常见的显卡(如 NVIDIA RTX 系列),显存和算力远低于数据中心级 GPU。HoloBoxing 之所以能在单卡上完成训练,除了冻结控制器缩小搜索空间外,还因为规划器参数量小、输入输出维度低,单次前向和反向传播的计算量有限。相比之下,端到端训练人形机器人策略通常需要数千个并行仿真环境和多卡分布式训练,耗时数小时到数天。这一对比凸显了分层设计在算力效率上的优势。

对机器人学习社区的启示

HoloBoxing 的价值不止于拳击这个演示场景。它示范了一种更容易被小团队复制的研发路径——不必依赖大规模算力,也能在预训练控制器之上快速验证新的任务策略。

当然,这条路径也有隐含前提:全身控制器的质量决定了策略的上限,规划器只能在控制器能力范围内做决策。任务如果要求超出底层控制器能力范围的动作,单纯训练轻量规划器未必够用。这一点在原帖中没有展开,是后续值得关注的方向。

项目同时开源了代码和论文,对于想上手人形机器人策略学习、又缺少算力资源的研究者和开发者来说,是一个门槛相当友好的起点。

#HoloBoxing#人形机器人#拳击策略#消费级GPU训练#全身控制器#机器人强化学习#开源代码
分享:

相关推荐