Microduck：开源双足机器人sim2real实践详解

Microduck：一个被低估的开源里程碑

当中国机器人每周都在上演功夫、跳舞的震撼视频时，一台名为 Microduck 的小型双足机器人或许并不显眼。但据 Pollen Robotics 的工程师在 Reddit 上的分享，这台机器人的意义远不止于「玩具」——它是一个完整的双足人形机器人，配备了开源软件栈，以及一条运行效果出人意料出色的 sim2real（仿真到现实）管线。

Pollen Robotics 是一家法国机器人公司，此前以其开源人形机器人 Reachy 闻名——一款配备仿生手臂和表情头部的上半身人形机器人，主要面向人机交互和服务场景的研究。Reachy 的设计哲学强调模块化和可定制性：它采用自研的低成本柔性执行器，支持 7 自由度的仿生手臂运动，头部配备立体视觉和可动天线以实现非语言交流。这款机器人自 2020 年推出以来，已被全球数十所大学和研究机构采用，形成了一个活跃的开源社区。Microduck 可以视为 Pollen Robotics 向全身人形机器人、尤其是双足移动领域拓展的关键一步——从上半身的操作和交互能力，向下延伸至最具挑战性的双足运动能力，延续了该公司一贯的开源路线和社区协作理念。这一拓展也反映了人形机器人行业的整体趋势：真正有用的服务机器人需要同时具备移动能力和操作能力，二者缺一不可。

这位拥有超过十年机器人竞赛经验的工程师坦言：「让一台双足机器人自主站立、行走，甚至滑旱冰，绝不是一件小事。」正是这种一线经验，让他对这个项目的价值有着清醒的判断。在他看来，能让数以千计的爱好者亲手在双足机器人上尝试强化学习，本身就是一件「疯狂」的事情——如果 2010 年他刚入行时就有这样的平台，会省下多少摸索的时间。

sim2real是什么：从仿真到现实的核心挑战

仿真到现实的鸿沟（Reality Gap）

sim2real（Simulation to Reality）是机器人学习领域最核心也最棘手的难题之一。研究者通常在物理仿真环境中训练机器人的运动策略——因为仿真可以低成本、高速、并行地生成海量训练数据，尤其适合强化学习（RL）这类需要大量试错的算法。

强化学习是一种让智能体通过与环境的反复交互来学习最优策略的机器学习范式。与监督学习不同，RL 不需要预先标注的"正确答案"，而是通过奖励信号来引导学习过程：智能体在每个时间步观察环境状态、选择一个动作、获得一个标量奖励，然后环境转移到下一个状态，如此循环往复。智能体的目标是最大化长期累积奖励。在机器人领域，RL 特别适合解决运动控制问题——因为人类工程师很难手工编写出让双足机器人在各种地形上稳定行走的控制规则（传统的基于模型的控制方法如 ZMP 或捕获点理论虽然有效，但对环境变化的鲁棒性有限），而 RL 算法可以通过数百万次虚拟试错自动发现有效的步态策略。以 Proximal Policy Optimization（PPO）为代表的策略梯度算法已成为机器人 RL 的主力工具，其训练稳定性和样本效率在实践中得到了广泛验证。近年来，随着 GPU 算力提升和并行仿真技术（如 NVIDIA Isaac Gym、Isaac Lab，以及 Google DeepMind 的 MuJoCo XLA 加速）的成熟，研究者可以在单块 GPU 上同时运行数千个仿真环境实例，将原本需要数天的训练压缩到数小时。RL 在机器人领域的应用已从实验室走向工程落地，DeepMind、Tesla Optimus、Unitree 等团队均采用了 RL 驱动的运动控制方案。

但问题在于，仿真世界与真实世界之间存在难以弥合的差距：电机的响应延迟、关节的摩擦力、传感器噪声、地面材质差异……这些细节稍有偏差，在仿真中训练得完美无缺的策略，一旦部署到真实硬件上就可能立刻「翻车」。这就是所谓的「Reality Gap（现实鸿沟）」。一个典型的例子是：仿真中的理想化地面接触模型假设脚底与地面的摩擦力是均匀且可预测的，但现实中地板的纹理、湿度甚至温度都会影响摩擦系数，导致仿真中学到的步态在真实地面上打滑或失稳。

业界应对 Reality Gap 的主流方法包括：域随机化（Domain Randomization），即在仿真训练中对物理参数（如质量、摩擦系数、电机增益、传感器延迟等）、视觉外观（如光照、纹理、背景）等进行大范围随机扰动，迫使策略学会适应各种不确定性，其核心思想是"如果策略在成千上万种随机化的仿真环境中都能工作，那它在现实中也大概率能工作"；系统辨识（System Identification），即通过精心设计的实验（如让电机在不同负载下运行、记录实际扭矩-速度曲线等）精确测量真实硬件的物理参数并反馈到仿真模型中，使仿真尽可能逼近真实物理。两种方法各有利弊：域随机化的优势在于不需要精确的物理测量，但过度随机化可能导致策略过于保守、性能下降；系统辨识能从根源上缩小 sim2real 差距，但需要大量的工程测量工作且难以覆盖所有物理参数。实践中，最有效的方案往往是两者的结合。Microduck 的方案更偏向系统辨识路线——通过 BAM 工具对执行器进行精确建模，从源头缩小仿真与现实的差距，同时在训练中辅以适度的域随机化来增强鲁棒性。

Microduck如何解决sim2real迁移问题

Microduck 之所以能让 sim2real「运行得出人意料地好」，关键在于高质量的执行器（actuator）建模。工程师特别点名感谢了 Rhoban 团队的贡献，以及他们那个「名字起得极好」的开源仓库——BAM（github.com/Rhoban/bam）。

Rhoban 是法国波尔多大学的一个机器人研究团队，全称 Rhoban Football Club，在 RoboCup 机器人足球赛的 KidSize Humanoid 组别中多次获得世界冠军（包括 2016 和 2019 年等），尤其在小型人形机器人的运动控制、视觉感知和团队协作方面积累了深厚经验。RoboCup 是机器人领域最具影响力的国际竞赛之一，其人形组要求机器人在标准足球场上自主完成行走、跑步、踢球和守门等高难度动作，对运动控制的鲁棒性和实时性有极高要求。正是这种高对抗性竞赛场景中积累的工程智慧，使得 Rhoban 团队对执行器建模的重要性有着深刻理解。BAM（其名称本身就带有一种"一击即中"的幽默感，也可理解为 Benchmarking Actuator Models 的缩写）是他们开源的执行器精确建模工具，能够对常见的伺服舵机（如 Dynamixel 系列，这是小型人形机器人中最广泛使用的舵机品牌）进行系统性的标定和建模——包括扭矩-速度曲线、控制延迟、齿轮回程间隙（backlash）、热特性等通常被忽略但对 sim2real 迁移至关重要的物理参数。

值得展开说明的是这些物理参数为何如此关键。扭矩-速度曲线描述了电机在不同转速下能提供的最大扭矩——这并非简单的线性关系，而是受到反电动势（back-EMF）、电阻损耗和磁饱和等因素影响的复杂非线性函数。如果仿真中假设电机可以在任意速度下提供恒定扭矩，那训练出的策略可能在高速运动时要求电机输出其物理上根本无法提供的力矩，导致真实机器人动作失真。**齿轮回程间隙（backlash）**是指齿轮传动中由于齿面间隙导致的"死区"——当电机反向旋转时，存在一小段角度范围内齿轮不会传递力矩。这个看似微小的间隙（通常只有零点几度）在双足行走中却会引发严重的控制问题：当机器人需要快速切换支撑腿时，关节的实际位置和指令位置之间出现瞬时偏差，可能导致身体晃动甚至跌倒。控制延迟则是从控制指令发出到电机实际响应之间的时间差，在总线通信延迟、电机驱动器处理时间和机械惯性的共同作用下，这个延迟通常在 5-20 毫秒量级——对于需要 200Hz 以上控制频率的双足平衡任务而言，这已经是不可忽略的量级。

执行器模型的精确程度，直接决定了仿真中的电机行为能否忠实还原真实电机。传统做法往往使用理想化的电机模型，假设扭矩与电流成线性关系、忽略齿轮传动中的非线性摩擦和间隙，而这些"小细节"在双足行走这种需要精密力控和快速响应的任务中，恰恰是导致 sim2real 失败的元凶。BAM 通过实验标定构建了更贴近真实的执行器数字孪生——具体来说，它要求用户在真实舵机上执行一系列标准化的测试运动（如不同负载下的阶跃响应、正弦扫频等），采集电流、位置、速度等数据，然后通过优化算法拟合出一组精确的模型参数。这使得仿真里的舵机扭矩、速度、延迟曲线与现实高度吻合，训练出的行走和平衡策略才能顺利迁移到实体机器人上。可以说，BAM 提供的精准执行器模型，是这条 sim2real 管线得以成立的隐形基石。

开源价值：让双足机器人强化学习触手可及

过去，在双足机器人上做强化学习几乎是顶尖实验室的专属游戏——你需要昂贵的硬件（一台研究级人形机器人动辄数十万美元，例如 Boston Dynamics 的 Atlas 造价超过 200 万美元，即便是 Agility Robotics 的 Digit 也在 10 万美元以上）、复杂的软件栈（涵盖仿真引擎如 MuJoCo 或 Isaac Sim、RL 框架如 Stable Baselines3 或 RSL-RL、通信中间件如 ROS2 或 GRPC、实时控制系统如 EtherCAT 驱动等多个层级，每个层级都有自己的学习曲线和调试难度）、以及深厚的工程积累（包括硬件维护、安全保护机制设计、故障排查等无法从论文中学到的隐性知识）。而 Microduck 把这一整套能力开源化、平民化了。

对于机器人爱好者、学生和独立研究者而言，这意味着：

• 不必从零搭建仿真环境和硬件驱动；
• 可以直接在一个已验证可行的平台上，尝试自己的 RL 算法；
• 能真实地体验「训练策略 → 部署到硬件 → 观察行走效果」的完整闭环。

这种"完整闭环"的实践价值不容低估。许多 RL 研究者长期停留在纯仿真阶段，从未有机会将策略部署到真实硬件上，因而对 sim2real 的诸多实际挑战缺乏直觉——比如电机过热保护导致的突然掉力、通信丢包引发的控制抖动、硬件疲劳导致的参数漂移等，这些问题在仿真中完全不存在，却是真实部署中的常客。Microduck 填补的正是这个空白——它让"从论文到实物"的最后一公里不再是不可逾越的鸿沟。更重要的是，当研究者亲手体验过 sim2real 的全过程后，他们对仿真建模的精度要求、对策略鲁棒性的设计标准，都会建立起更加扎实的工程直觉，而这种直觉是纯仿真研究无法培养的。

这种低门槛的实践机会，对培养下一代机器人研究者的价值不可估量。正如原作者所感慨的，这是他 2010 年入行时梦寐以求却求而不得的东西。

未来方向：从双足行走到自主智能行为

工程师坦率地指出，Microduck 目前的移动能力「已经相当不错，但仍有提升空间」。真正的下一个大挑战，是迈向自主行为（autonomous behaviors）。

他列出了几个令人兴奋的探索方向：

• 自然语言理解（Natural Language）：让机器人理解人类指令。随着大语言模型（LLM）能力的飞速提升，研究者正在探索将 GPT、LLaMA 等模型接入机器人系统，使其能够将"去厨房拿一杯水"这样的自然语言指令转化为具体的动作序列。Google 的 SayCan 和 RT-2 是这一方向的标志性工作：SayCan 利用 LLM 生成候选动作方案，再由机器人的"可行性评估器"筛选出物理上可执行的方案；RT-2 则将视觉-语言模型直接输出为机器人控制指令，实现了端到端的语言到动作映射。这一方向的核心挑战在于将语言的语义理解与物理世界的约束条件进行对齐——机器人不仅要"听懂"指令，还要理解执行该指令在当前物理环境中意味着什么。例如，"小心地放下"这个指令隐含了对力度的约束，而"绕过桌子"则隐含了对路径规划的要求，这些隐含信息需要机器人结合当前环境感知来推理。

• SLAM（同步定位与建图）：让机器人感知并构建自己所处的环境。SLAM 是 Simultaneous Localization and Mapping 的缩写，解决的核心问题是：机器人在一个完全未知的环境中，如何一边构建环境地图，一边确定自己在地图中的位置。这是一个"鸡生蛋蛋生鸡"的问题——精确定位需要地图，而建图又需要精确的位置信息。经过三十余年的研究演进，SLAM 已从早期基于扩展卡尔曼滤波（EKF-SLAM）的方法，发展到基于图优化（Graph-based SLAM）的现代范式，再到近年来融合深度学习的视觉 SLAM（如 ORB-SLAM3、DROID-SLAM）和神经辐射场（NeRF）驱动的隐式地图表示。现代 SLAM 方案通常融合激光雷达（LiDAR）、摄像头、IMU（惯性测量单元）等多种传感器数据，利用概率滤波或图优化算法来同时求解定位和建图问题。对于双足机器人而言，SLAM 面临额外挑战：行走时的剧烈晃动会导致传感器数据质量下降——IMU 数据中混入大量步态震动噪声，摄像头图像因运动模糊而退化，激光雷达扫描线因身体俯仰而失真——这些都需要更鲁棒的算法设计和针对步态周期的特殊滤波策略。

• 自主导航（Navigation）：在空间中自主规划路径移动。自主导航通常建立在 SLAM 提供的地图之上，涉及全局路径规划（如 A*、RRT* 算法）和局部避障（如动态窗口法 DWA、模型预测控制 MPC）两个层次。对于双足机器人，导航还需要考虑其独特的运动学约束——不像轮式机器人可以原地转向，双足机器人的转弯需要协调全身关节来维持平衡，其可通行区域也受限于台阶高度、地面坡度等因素。

• 物体抓取（Grasping）：与物理世界进行操作层面的交互。灵巧操作（Dexterous Manipulation）是当前机器人学的另一大前沿，涉及力控（impedance/force control）、触觉感知（tactile sensing，近年来 GelSight 等视触觉传感器的发展使得机器人能够"感受"接触面的纹理和力分布）和精细运动规划等多项关键技术。从简单的平行夹爪抓取到多指灵巧手的复杂操作（如拧瓶盖、折衣服），操作复杂度跨越了好几个数量级。对于 Microduck 这样的小型双足平台，抓取能力的加入意味着需要在维持行走平衡的同时协调上肢动作，这涉及全身动力学的联合优化——一个比单纯的双足行走复杂得多的控制问题。

这些能力叠加在已有的双足移动基础之上，将把 Microduck 从一个「运动平台」推向一个「智能体平台」。这也正是当下具身智能（Embodied AI）研究的核心命题——把大模型的认知能力与机器人的物理执行能力真正结合起来。

具身智能的核心理念源自认知科学中的"具身认知"理论（Embodied Cognition）：真正的智能不能脱离物理身体和环境交互而独立存在——感知、思维和行动是一个不可分割的整体。与纯粹在数字世界中运行的大语言模型不同，具身智能要求 AI 能够感知三维物理世界、理解物体的物理属性（重量、刚度、摩擦、脆性等）、预测动作的物理后果（推一个杯子会滑多远？叠起三本书会不会倒？），并通过身体执行动作来完成任务。这一研究范式正在催生"大脑+小脑"的分层技术架构：大语言模型（如 GPT-4）或视觉语言模型（如 RT-2、PaLM-E）充当"大脑"负责高层任务规划和语义理解——理解"整理房间"意味着什么、需要哪些步骤、优先做什么；而强化学习训练出的运动策略充当"小脑"负责底层运动控制——如何迈步、如何保持平衡、如何精确地伸手抓取目标。两个层级之间通过一组预定义的技能原语（skill primitives）或连续的动作空间进行接口对接。Microduck 这类开源平台的独特价值在于，它为研究者提供了一个可以真正验证这种"认知-行动"闭环的物理载体，而不仅仅是在仿真中画饼。当一个研究者可以在真实的双足机器人上测试"LLM 理解指令 → 运动策略执行动作 → 传感器反馈结果 → LLM 调整计划"这一完整循环时，他对具身智能的理解深度将远超纯仿真研究。

结语：开源机器人社区需要更多Microduck

Microduck 或许不会像那些功夫机器人一样刷屏，但它代表了一种更朴素也更持久的价值：把前沿技术开放给每一个愿意动手的人。

一条真正跑通的 sim2real 管线、一套开源的软件栈、加上 Rhoban 团队精心打磨的执行器模型，共同构成了一个可复现、可学习、可拓展的双足机器人平台。对于整个开源机器人社区而言，这样的贡献远比一段炫技视频更有分量。

在机器人领域，开源运动正在经历一个关键的加速期。这一进程可以追溯到 2007 年 Willow Garage 发布 ROS（Robot Operating System）——它虽名为"操作系统"，实际上是一套机器人软件通信框架和工具集，提供了消息传递、硬件抽象、设备驱动、可视化和包管理等基础设施，使得不同研究组开发的算法模块能够方便地互操作和复用。ROS 的出现极大降低了机器人软件开发的重复劳动，如今已成为学术界和工业界的事实标准。2021 年 DeepMind 将 MuJoCo（Multi-Joint dynamics with Contact）物理仿真引擎开源，是另一个里程碑事件：MuJoCo 以其高效准确的接触动力学模拟闻名，此前需要付费许可证，开源后立刻引发了机器人学习研究的民主化浪潮——任何人都可以在高质量的物理仿真环境中训练和测试机器人策略，不再受限于软件许可费用。再到如今 Microduck 这样软硬件一体的开源平台出现，每一步都在降低进入门槛、扩大参与者群体。类似的开源硬件项目还包括斯坦福的 ALOHA 双臂遥操作系统、Hugging Face 支持的 LeRobot 框架等，它们共同构成了一个日益完善的开源机器人生态。历史一再证明，当更多聪明的头脑可以低成本地参与到同一个技术方向时，创新的速度和多样性都会呈指数级增长——Linux、Python、TensorFlow 等开源项目的成功莫不如此。

正如作者所期望的：希望人们能在这个平台上「玩得开心，学到很多，或者两者兼得」。