Pixel-UMI：从人体演示学习全身操作策略

机器人如何从人类演示中学会复杂的全身操作？Pixel-UMI 提出了一套从传感器化人体演示中学习环境感知全身操作策略的完整流程，在五项高难度任务上取得了平均 87.0% 的任务进度。

核心挑战：具身差异与视角错配

传感器化的人体演示为移动操作提供了可扩展的数据来源，但人机之间的具身差异让策略学习变得复杂。人体与机器人在运动学结构、关节范围、连杆长度上都不一致，直接将人体轨迹映射到机器人上会产生残余位姿误差，进而导致人类演示视角与机器人观测视角之间出现错配。Pixel-UMI 的设计正是围绕这一矛盾展开。

具身差异（Embodiment Gap） 是跨具身学习中的核心概念，指不同智能体（如人类与机器人）在物理形态上的结构性差异。这种差异体现在多个层面：运动学结构（自由度数量与排列方式）、关节运动范围、连杆长度与质量分布，以及传感器配置（如相机位置与视野）。在从人类演示学习机器人技能的场景中，具身差异会导致直接的动作映射产生系统性偏差——人类手臂的伸展范围与机器人机械臂不同，人类头部的视角与机器人相机的安装位置不同，这些都会使演示数据与机器人执行之间出现错配。理解具身差异是设计重定向算法的前提，也是评估跨具身策略泛化能力的关键维度。

环境感知重定向（EAR）

Pixel-UMI 首先引入环境感知重定向（Environment-Aware Retargeting, EAR）。它将重建的场景几何信息与演示中的头部和夹爪轨迹结合，用于确定机器人姿态，并生成带碰撞感知的关节目标与基座目标。随后，通过延迟校准的动作分配，把这些轨迹转换为可执行的动作序列。这一环节解决的是“人体动作如何合理地落到机器人身上、又不撞到环境”的问题。

重定向（Retargeting） 在机器人学习中指将一种具身（如人体）的运动轨迹转换为另一种具身（如机器人）可执行动作的过程。经典重定向方法通常只考虑运动学约束，通过优化关节角度使机器人末端执行器跟踪人类手部轨迹。然而，在移动操作场景中，仅考虑运动学是不够的——机器人需要在真实环境中运动，必须避免与场景几何发生碰撞。环境感知重定向因此将场景几何信息（如通过三维重建获得的点云或网格）纳入优化目标，同时生成关节目标与基座目标，确保重定向后的全身动作在环境中物理可行。这一概念与运动重定向（motion retargeting）在计算机动画中的应用一脉相承，但在机器人领域还需额外处理基座移动、碰撞避免与动作可执行性等问题。

重定向误差感知掩码（REAM）

即使经过重定向，运动学差异仍会留下残余位姿误差，造成视角不匹配。为此研究者提出重定向误差感知掩码（Retargeting-Error-Aware Masking, REAM）：在训练阶段利用这些误差信息，让策略降低对错配视角的依赖，从而在部署时更稳健。这一思路把“误差”从纯粹的负面因素转化为可用的训练信号，是该方法较有洞察力的一处设计。

DAgger（Dataset Aggregation） 是一种交互式模仿学习算法，由 Ross 等人于 2011 年提出。其核心思想是：在策略执行过程中，让人类专家对策略产生的状态进行纠正，并将这些纠正数据聚合到训练集中，迭代训练策略。与纯离线模仿学习不同，DAgger 能够覆盖策略自身分布下的状态空间，缓解协变量偏移（covariate shift）问题——即策略在训练分布之外的状态下容易犯错。在机器人操作中，DAgger 特别适合处理接触密集的交互任务，因为这类任务中动作估计难以精确建模，而人类可以在线提供实时纠正。Pixel-UMI 利用 DAgger 收集人类对策略执行过程的纠正数据，从而弥补离线重定向数据在接触细节上的不足，提升策略在真实交互中的鲁棒性。

在线人类纠正补足接触细节

估计得到的动作难以完整刻画富含接触的交互过程。Pixel-UMI 通过 DAgger 收集在线策略下的人类纠正数据，针对性地改进策略表现。这使得系统在接触密集场景中不再只依赖离线重定向数据，而是能持续吸收人类的实时反馈。

五项任务与实验结果

Pixel-UMI 在五类挑战性任务上进行了评估，覆盖铰接物体操作、可变形物体处理、受限空间伸取、全身避障以及接触密集的双臂协调。结果显示，其平均任务进度达到 87.0%。论文同时提供了视频结果，可通过 https://pixel-robot.com/pixel-umi 查看。

从方法组合看，Pixel-UMI 把场景几何、轨迹重定向、误差感知训练与在线纠正串成一条流水线，为“从人体数据学习全身移动操作”提供了一条较为完整的工程路径。其对残余误差的处理方式，也为后续跨具身学习研究提供了可借鉴的思路。