模仿学习

行为克隆将策略学习转化为监督学习问题，以环境状态为输入、专家动作为标签，训练从状态到动作的映射函数

行为克隆存在分布偏移（Distribution Shift）问题，模型在训练分布外状态下容易犯错并累积误差，机器人控制领域称为复合误差

模仿学习的核心思想是让机器人通过观察专家演示来习得行为策略，而非依赖大量试错，主要技术路线包括行为克隆（BC）和逆强化学习（IRL）

行为克隆属于模仿学习的最简形式，直接学习状态到动作的映射，而不像逆强化学习（IRL）那样推断专家的奖励函数

现代AI机器人通常依赖强化学习来训练运动控制策略

机器人模仿学习通常依赖昂贵的人工遥操作采集数据，而不加引导的收集方式往往产生大量对策略性能贡献甚微的冗余数据。

有研究者指出，STS2 的随机性让奖励信号变得稀疏，训练难度远高于确定性游戏，可能需要结合模仿学习或课程学习来加速收敛。

基于扩散模型和Transformer的序列建模方法也被用于模仿学习，能够处理多模态动作分布。

模仿学习的效果高度依赖于示范数据的质量和数量，数据质量直接影响策略的泛化能力。

行为克隆直接把观测映射到动作，实现简单但存在分布偏移问题——机器人一旦偏离演示轨迹，误差会累积放大。

该智能体的训练完全基于强化学习，没有使用任何人类数据，也不涉及模仿学习。

对实验室场景而言，示范数据的质量、动作空间的表示方式以及视觉—本体感知的对齐，是决定模仿学习能否落地的关键。

模仿学习是机器人学习的一个分支，核心思想是让机器人从专家示范中直接学习策略，而非依赖手工编写的控制程序或纯试错强化学习。

贾萧松认为如果训练仍以模仿学习为主，换架构并不能绕开模仿学习的固有问题；有价值的方向包括筛选有价值的数据、超越暴力模仿学习、设计更有效的奖励信号、让模型同时强化学习成千上万个技能。

贾萧松认为模仿学习能让模型从0分做到90分，强化学习去啃剩下的10分，两者并非替代关系；完全从零开始的强化学习收敛极慢。

这种运动学先验在强化学习和模仿学习两种训练范式下都会出现，可能反映了与人形具身形态相关的共性知识，而非某种优化过程特有的产物。

模仿学习（Imitation Learning）是一类让机器人从人类演示中直接学习策略的方法，通过行为克隆或扩散策略等方式将观测映射到动作，其核心优势是样本效率高，但分布外泛化能力弱。

与传统强化学习相比，模仿学习通常只需几十到几百条演示轨迹就可能让机械臂学会抓取与放置，而强化学习通常需要在仿真环境中定义奖励函数并让智能体反复试错，样本量动辄百万级。

在机器人演示采集中，错误的手部重建会直接误导下游的模仿学习策略，使机器人学到人类从未做过的动作，且这类数据本身的错误不会在训练损失上明显暴露。

现有从视频学习灵巧操作的方法大多停留在模仿层面，严格匹配视频中的动作轨迹，导致面对新的物体初始位姿、目标位姿或抓取方式时迅速失效。