Sim2Real实战：双轮平衡机器人的强化学习训练与部署全解析

从仿真到现实：一个DIY机器人项目的技术突破

近年来，Sim2Real（仿真到现实迁移）技术在机器人领域持续升温。Sim2Real是机器人学和强化学习领域的核心研究方向之一，其基本思路是在虚拟仿真环境中训练智能体的控制策略，然后将训练好的策略直接部署到真实物理机器人上。这一方法的核心优势在于规避了真实世界数据采集的高成本和安全风险——在仿真中，机器人可以摔倒数百万次而不会损坏任何硬件。然而，Sim2Real面临的最大挑战是"现实差距"（Reality Gap）：仿真器无法完美复现真实世界的物理特性，包括摩擦力、接触动力学、传感器噪声等。为缩小这一差距，研究者通常采用域随机化（Domain Randomization）、系统辨识（System Identification）等技术，在训练阶段人为引入参数扰动，迫使策略学会对不确定性的鲁棒应对。

Sim2Real技术路线在近年来已积累了多个里程碑式的成果。2019年，OpenAI展示了在仿真中训练的灵巧手策略成功迁移到真实Shadow Hand上完成魔方还原，这一工作大量使用了域随机化来应对手指与魔方之间极其复杂的接触动力学。ETH Zurich的ANYmal四足机器人团队则通过Sim2Real方法让机器人学会了在崎岖地形上的自适应行走，其策略完全在仿真中训练，却能在雪地、碎石和楼梯等真实环境中稳健运行。这些案例表明，Sim2Real已从概念验证走向了实际部署阶段，但其成功高度依赖于仿真器的物理精度、域随机化的参数覆盖范围，以及真实硬件的控制带宽——任何一个环节的短板都可能导致迁移失败。

一位来自Reddit社区的开发者最近分享了一个令人印象深刻的项目——一款具备高度调节能力的双轮平衡机器人，全程使用100%合成数据训练，并成功实现了从仿真环境到真实物理世界的策略迁移。

这个项目在技术深度和工程实现上都颇具参考价值，尤其对于关注具身智能、强化学习落地的研究者和工程师而言，其中的细节值得深入剖析。

硬件架构：紧凑而不妥协的设计

关节设计与执行器选型

与传统双轮平衡机器人仅依赖两个驱动轮不同，该机器人在每条腿上配置了3个关节，形成完整的髋-膝-轮结构。这一设计赋予了机器人三项关键能力：在不同高度下保持平衡、左右腿独立倾斜、以及在加速时保持底盘水平。

执行器方面，项目选用了6个小米Cybergear QDD（准直驱）电机。QDD准直驱电机是近年来在腿足机器人领域兴起的一类关键执行器方案。与传统高减速比伺服电机不同，QDD电机通常采用较低的减速比（一般在6:1到9:1之间），这使得电机具备优异的反向驱动性（Backdrivability）——即外力可以较轻松地推动电机转动。这一特性对于腿足机器人至关重要：当机器人脚部与地面发生碰撞时，低阻抗的关节可以像弹簧一样吸收冲击，而非像刚性结构一样硬碰硬。

从控制理论的角度看，反向驱动性直接决定了机器人能否有效实施阻抗控制（Impedance Control）和力控制（Force Control）。在阻抗控制框架下，关节被建模为具有可调刚度和阻尼的虚拟弹簧-阻尼器系统，控制器通过调节力矩输出来实现期望的力-位移关系。高减速比方案（如使用谐波减速器的传统伺服，减速比通常在50:1至160:1之间）虽然能在相同电机功率下输出更大的关节力矩，但其高摩擦和高反射惯量使得关节对外部力的感知和响应严重钝化——电机端感受到的外部扰动被减速比的平方衰减，这使得精细的力控几乎不可能实现。QDD方案通过牺牲一部分力矩放大能力，换取了对外部力的高灵敏感知和快速响应，这正是动态平衡和地形自适应所需要的核心特性。小米Cybergear系列电机集成了无刷直流电机、行星减速器、编码器和FOC驱动器于一体，支持位置、速度和扭矩三种控制模式，因其高性价比（单个电机价格约为同级别MIT Mini Cheetah电机的几分之一）而在开源机器人社区被大量采用，已成为个人开发者和小型团队构建腿足机器人的事实标准执行器之一。6s LiPo电池提供动力，整体功率密度与重量比控制得较为合理。

通信架构与感知方案

控制器选用ESP32，这是一个在DIY机器人圈颇为流行的低成本嵌入式平台。值得关注的是，项目同时使用了两条CAN总线：一条通过ESP32原生TWAI接口实现，另一条借助SPI扩展。

CAN（Controller Area Network）总线最初由博世公司为汽车电子系统开发，因其高可靠性、多节点支持和差分信号抗干扰能力，已成为机器人多关节通信的主流方案之一。在CAN总线上，所有节点共享同一条总线，通过基于优先级的仲裁机制解决冲突——当多个节点同时发送消息时，ID数值较小的消息自动获得优先权，失败的节点会自动退让并重试，无需上层协议介入。然而，单条CAN总线的带宽有限（经典CAN为1Mbps），当总线上挂载多个高频通信节点时，容易出现总线负载过高导致的消息延迟或丢失。以该项目为例做一个简单计算：每个电机每个控制周期需要一帧下行指令和一帧上行反馈，每帧CAN消息含11位ID、8字节数据及各类控制位共约130位，6个电机在1kHz控制频率下的总线负载约为130×12×1000=1.56Mbps，已超出经典CAN的物理带宽上限。该项目中6个电机均需要在控制周期内（通常为1-5ms）完成位置/扭矩指令的下发和状态反馈的读取，单条总线的通信压力显而易见。采用双CAN总线、每条总线分担3个电机的方案，有效缓解了6个电机并发通信时的带宽瓶颈，保证了控制回路的实时性。ESP32的TWAI接口是其内置的CAN控制器，而通过SPI连接外部CAN控制器芯片（如MCP2515）可实现第二条CAN总线。

IMU当前使用MPU6050，作者计划升级为BNO086。IMU（Inertial Measurement Unit，惯性测量单元）是平衡机器人的核心传感器，负责实时测量机器人的角速度和加速度，进而推算姿态角。MPU6050是一款经典的6轴MEMS IMU芯片，集成3轴加速度计和3轴陀螺仪，以极低的价格在创客社区广泛使用。然而，MPU6050的原始数据需要主控端进行姿态融合计算（如卡尔曼滤波或互补滤波），且其噪声特性和零偏漂移在高动态场景下表现欠佳。

具体而言，MEMS陀螺仪存在固有的零偏不稳定性（Bias Instability），即使在静止状态下输出值也会随时间缓慢漂移，通过积分计算角度时这种漂移会持续累积。在动态平衡场景中，机器人处于持续的高频振动和急剧姿态变化中，加速度计的读数会被运动加速度严重污染，仅靠加速度计无法可靠分离重力方向——这正是姿态融合算法需要解决的核心问题。MPU6050的数据输出频率虽然可达1kHz，但其内部模数转换和滤波链路引入的延迟（通常为2-5ms）在快速动态响应中不可忽视。相比之下，BNO086内置了博世的智能传感器融合算法（基于自适应卡尔曼滤波，运行在片上ARM Cortex-M0+协处理器中），可直接输出经过融合的四元数姿态数据，融合更新率可达400Hz，且内置了振动补偿和运动分类等高级功能。片上融合的关键优势在于消除了主控端的计算负担和软件融合带来的额外延迟——对于ESP32这样计算资源有限的平台，将姿态融合卸载到IMU芯片内部意味着主控可以将更多周期用于策略推理和电机控制。对于依赖毫秒级精确姿态反馈的动态平衡控制而言，IMU的升级往往能带来质的飞跃。

强化学习训练策略：纯合成数据驱动的Sim2Real迁移

混合关节与任务空间训练方法

该项目最核心的技术亮点在于其训练方法论：100%合成数据，零真实世界样本。策略使用mjlab（MuJoCo的封装工具）从零开始训练，在单张RTX 3080上约4小时即可完成收敛。

MuJoCo（Multi-Joint dynamics with Contact）是由Emo Todorov开发的物理仿真引擎，以其高效精确的接触动力学模拟能力闻名于机器人学和强化学习社区。2022年DeepMind将MuJoCo开源后，其生态迅速扩展，成为与Isaac Gym并列的主流机器人强化学习仿真平台。MuJoCo采用广义坐标（Generalized Coordinates）表示和半隐式欧拉积分方案，在保证数值稳定性的同时，单步仿真速度极快。

将MuJoCo置于更广阔的仿真引擎版图中有助于理解其定位。NVIDIA的Isaac Gym（现已演进为Isaac Lab）专注于GPU大规模并行仿真，能在单张GPU上同时运行数千个环境实例，但其接触模型的精度和灵活性不如MuJoCo。PyBullet作为Bullet物理引擎的Python封装，在早期RL研究中使用广泛，但其仿真精度和性能均逊于MuJoCo。MIT的Drake则专注于基于优化的机器人控制和规划，在需要精确接触力模型的场景下有独特优势。MuJoCo的核心竞争力在于其接触模型的物理准确性与计算效率之间的平衡——它使用凸优化求解接触力，而非传统的迭代脉冲方法，这使得仿真结果更加平滑和物理一致。虽然MuJoCo原生主要运行在CPU上，但通过mjlab等封装工具的并行环境管理（同时启动数百个独立仿真实例，利用CPU多核并行采样，再将数据批量传输到GPU进行策略网络的梯度更新），在单张RTX 3080上4小时即可完成策略训练也就不难理解了。

训练采用了混合关节空间与任务空间的方案（Hybrid Joint and Task Space Training）。在机器人控制理论中，关节空间（Joint Space）和任务空间（Task Space，也称笛卡尔空间或操作空间）是两种基本的控制框架。关节空间控制直接操控每个关节的角度、角速度或力矩，其优势在于天然尊重关节限位、奇异位型等物理约束，但在描述末端执行器（如脚尖或轮子）的目标行为时不够直观。任务空间控制则直接在末端执行器的位置、速度或力的层面制定控制目标，更符合任务的高层语义（例如"保持轮子的接地力恒定"），但需要通过逆运动学/逆动力学映射回关节层面，在关节限位附近容易出现问题。混合方案通常对不同自由度或不同子任务分别采用两种空间的控制方式：例如，腿部的摆动轨迹在任务空间规划，而关节力矩限制在关节空间实施。这种分层混合策略在复杂腿足系统中尤为有效，在保留各自优势的同时，有助于策略更好地泛化到真实硬件的动力学差异上。

从强化学习的视角来看，混合空间方案实质上是对动作空间（Action Space）的重新参数化。纯关节空间的动作空间维度等于关节数，策略需要学习关节之间的协调关系；纯任务空间则通过逆运动学将高维关节空间压缩为低维任务空间，降低了学习难度但丢失了关节层面的细粒度控制。混合方案的精妙之处在于：它允许策略网络对"容易在任务空间描述"的子任务（如底盘高度控制）输出任务空间指令，同时对"需要关节层面精细调节"的子任务（如关节力矩限幅和阻尼调节）保留关节空间的直接控制权。这种设计显著降低了策略需要探索的有效状态-动作空间体积，从而加速了训练收敛，也部分解释了为何4小时即可完成训练。

模型压缩：99.87%的体积削减实现嵌入式部署

针对ESP32这类资源受限的嵌入式平台（主频240MHz、RAM约520KB），作者通过几何基元优化（Primitives Optimization）对碰撞模型进行了极致压缩，实现了99.87%的模型体积缩减。

在物理仿真中，碰撞检测是计算量最大的环节之一。精确的三维网格（Mesh）碰撞模型虽然能准确表示机器人的外形，但其碰撞检测算法（如GJK、SAT等）的计算复杂度随顶点和面片数量急剧上升。几何基元（Geometric Primitives）——球体、胶囊体、圆柱体、长方体等——具有解析形式的碰撞检测方程，计算效率比网格碰撞高出数个数量级。例如，两个球体的碰撞检测仅需计算一次距离并与半径之和比较。

要理解99.87%这个数字的工程含义，可以做一个具体估算。一个典型的机器人URDF/MJCF模型中，每个连杆的碰撞网格可能包含500到5000个三角面片，6个连杆的总数据量可达数十万个浮点数（顶点坐标、法线、面片索引等），占用数百KB甚至数MB的存储空间。而用几何基元替代后，每个连杆仅需一个基元类型标识符加上几个参数（如胶囊体只需半径、长度和位姿共约10个浮点数），6个连杆总共仅需不到1KB的参数。这不仅是存储空间的节省——更关键的是碰撞检测的计算复杂度从O(n²)（n为面片数）降至O(1)（每对基元的解析碰撞检测为常数时间），这使得在ESP32的240MHz主频上实现1kHz的实时碰撞检测和策略推理成为可能。

当然，基元近似不可避免地引入了几何精度损失——一个形状不规则的电机外壳用一个圆柱体近似，其碰撞边界与真实外形之间必然存在偏差。然而，这里体现了一个精巧的工程闭环：训练时在MuJoCo中同样使用基元碰撞模型，那么仿真中的碰撞行为与真实部署时的碰撞行为之间的gap反而比使用精确网格更小。同时，域随机化可以在训练阶段对基元的几何参数（半径、长度等）施加随机扰动，进一步补偿基元近似引入的系统性偏差。这种"训练与部署使用同一简化模型"的策略，是实现高效Sim2Real迁移的重要工程洞察。

当前进展与技术挑战

首批Sim2Real测试结果

在本次展示的测试中，髋关节和膝关节在启动时被锁定（关节角度可变，但运行期间不做主动控制），机器人仅依靠车轮电机维持平衡。作者坦言平衡效果"开始起效，但还不完美"——这是一个诚实且符合预期的评估。Sim2Real迁移本身就面临仿真器参数误差（质量、惯量、摩擦系数等）带来的动力学偏差，首批测试能够跑通已属积极信号。

值得注意的是，域随机化（Domain Randomization）技术在缩小现实差距中扮演着关键角色。该技术在训练阶段对仿真环境的物理参数（如质量、摩擦系数、电机延迟等）施加随机扰动，使策略在面对真实世界不可避免的参数偏差时仍能保持一定的鲁棒性。域随机化的核心假设是：如果策略在足够广泛的参数分布下都能良好工作，那么真实世界的物理参数大概率落在这一分布之内。这一假设在实践中并非总是成立——某些物理现象（如轮胎与不同地面材质的复杂摩擦模型、电机在低速区间的齿槽效应等）可能呈现出仿真器根本无法表达的动力学特征，此时即使域随机化的参数范围再大也无法覆盖。首批测试中观察到的不完美平衡效果，很可能与仿真中未充分覆盖的参数空间有关，后续通过更精细的域随机化调参、结合少量真实世界数据进行微调（即所谓的Sim2Real Fine-tuning），有望进一步改善迁移效果。

下一步：全关节动态控制

项目的下一阶段目标是放开髋膝关节的运行时控制，实现真正意义上的动态高度调节和身体倾斜。这将使控制问题的维度显著提升——从当前的2自由度（两个车轮）跃升至6自由度（髋、膝、轮各两个），策略的状态空间和动作空间都将大幅扩展。

维度的增加带来的挑战是多层面的。首先，从强化学习的角度看，动作空间维度的增长意味着探索的难度呈指数级上升——这就是所谓的"维度诅咒"（Curse of Dimensionality）。在2自由度时，策略只需学习两个轮子的协调控制；而在6自由度下，策略需要同时协调髋关节的摆动、膝关节的屈伸和轮子的驱动，这些关节之间存在强耦合效应——例如，膝关节的快速伸展会对整机质心产生反作用力矩，轮子必须即时补偿。其次，从仿真精度的角度看，6自由度意味着更多的关节间接触和碰撞事件，仿真器需要更精确地建模关节铰链的摩擦、连杆之间的自碰撞、以及腿部在不同构型下的惯量变化等复杂物理现象。这些都对仿真器的物理模型和域随机化策略提出了更高要求。IMU升级至BNO086也是这一阶段的关键准备工作，更精确的姿态反馈将为全关节控制提供更可靠的状态估计基础——在6自由度控制中，即使是1-2度的姿态估计误差也可能导致策略输出的关节指令与实际需求之间产生显著偏差，从而引发控制不稳定。

技术意义与开发者启示

这个项目的价值不仅仅在于"又一个平衡机器人"，而在于它展示了一条可复现的低成本Sim2Real路径：消费级GPU、开源仿真框架、商业化QDD电机、加上DIY控制器，就能搭建出具备研究级特性的平衡机器人平台。这一路径的出现标志着Sim2Real技术正在从顶级实验室的专属工具走向更广泛的开发者社区——过去需要数十万元设备和专业团队才能开展的研究，如今一位有经验的个人开发者也有能力复现。

这种民主化趋势与更广阔的AI/机器人领域的发展轨迹一致。正如大语言模型从只有大型科技公司能训练，发展到开源社区通过LoRA微调和量化技术在消费级硬件上运行一样，Sim2Real也正经历从"需要集群级算力和定制硬件"到"单GPU加开源工具链"的可及性跃迁。MuJoCo的开源、廉价QDD电机的出现、以及ESP32等低成本但功能足够的嵌入式平台的成熟，共同构成了这一转变的基础设施。可以预见，随着仿真引擎的持续优化和开源机器人硬件标准的逐步形成，Sim2Real将成为个人开发者和小型创业团队探索具身智能的标准工作流。

对于正在探索具身智能落地的开发者，这个案例提供了几点实践参考：

• 模型压缩是嵌入式部署的必答题：99.87%的压缩率证明了几何基元近似在运动控制场景中的可行性，这一方法也可推广到其他资源受限平台上的实时碰撞检测与物理推理任务
• 混合空间训练值得重点关注：在多关节腿足系统中，混合关节与任务空间的训练策略能有效平衡控制精度与泛化能力，避免了单一空间框架的固有局限
• 双CAN总线的冗余设计不容忽视：这是保障多电机实时控制的关键工程细节，对于任何超过4个CAN节点的机器人系统都应认真考虑总线拓扑规划
• 仿真与部署的模型一致性是Sim2Real成功的隐性要素：训练和推理使用相同的简化碰撞模型，比追求仿真精度但部署时被迫降级更有利于迁移效果

作者已开放策略在线体验入口（vertex.bot/robot），有兴趣的读者可以直接测试策略的实际表现，其中还包含另一款名为Pollens MicroDuck的机器人策略。

核心要点