利用统计杠杆分数实现多样性经验回放

在离策略深度强化学习中，经验回放缓冲区通常由大量常规操作数据主导，而那些定义任务边界的罕见事件却寥寥无几。针对这一问题，研究者提出了一种基于统计杠杆分数的多样性感知经验回放方法，通过识别并优先采样缓冲区中“不寻常”的转移，提升稀有任务的成功率。

核心问题：回放缓冲区的“常规性”偏差

在物理机器人场景中，回放缓冲区中的绝大多数转移来自正常操作，这些转移彼此高度相似。然而，真正决定任务成败的往往是那些罕见的边缘情况——例如机械臂在障碍物附近推动物体时的关键决策点。传统的均匀采样会淹没这些稀有事件，导致学习信号偏向常规行为。

研究者指出，每个存储的转移都可以通过其统计杠杆分数来衡量其相对于缓冲区自身数据的不寻常程度。该分数仅从存储的数值计算，无需标签、奖励或价值网络。

经验回放缓冲区（experience replay buffer）是离策略强化学习中的核心组件，它存储智能体与环境交互产生的转移（状态、动作、奖励、下一状态），并在训练时从中采样小批量数据来更新策略或价值函数。这种做法打破了样本之间的时间相关性，提高了数据利用率，但也引入了采样偏差问题：如果缓冲区中某类转移数量占绝对优势，均匀采样就会使学习信号过度集中于这些常规行为，而忽略决定任务成败的稀有事件。在机器人操作等实际场景中，这种偏差尤为突出，因为安全、平稳的常规操作数据天然占据绝大多数。

方法设计：杠杆分数与混合采样

每个小批量数据从该分数与均匀采样的混合分布中抽取。具体来说，杠杆分数衡量了单个转移在数据变化最大的方向上的异常程度。但直接应用会遇到两个关键挑战，研究者分别给出了解决方案。

挑战一：独热编码下的方向选择

当动作以独热指示符存储时，沿着数据变化最大的方向构建分数会失效，因为指示符列总是在方差排名中胜出。研究者的应对策略是选择具有最重尾部（最大峰度）的特征列，这些列能够揭示小的、远离主体的小群体。

独热编码（one-hot encoding）是强化学习中表示离散动作的常见方式，例如将“左移、右移、前推”三个动作分别编码为[1,0,0]、[0,1,0]、[0,0,1]。在这种表示下，每个特征列的取值非0即1，其方差直接由动作频率决定：频繁出现的动作对应的列方差大，稀有动作对应的列方差小。因此，若按数据变化最大的方向（即方差最大的特征列）来计算杠杆分数，频繁动作的指示符列总会胜出，导致分数无法识别真正稀有的转移。研究者转而选择峰度（kurtosis）最大的特征列，峰度衡量分布尾部的厚重程度，重尾分布意味着存在少量远离主体的异常值，这恰好对应稀有但关键的动作或状态组合。

挑战二：重要性权重的抵消效应

优先经验回放通常使用重要性权重来保持梯度无偏。但研究发现，这种校正在这里会完全抵消方法的效果：在完全校正下，训练效果与均匀采样无异。因此，研究者选择放弃校正，并有意识地优化重新平衡后的目标。

重要性采样（importance sampling）是优先经验回放（Prioritized Experience Replay, PER）中用于纠正采样偏差的经典技术。当按非均匀概率从缓冲区采样时，每个样本的梯度需要乘以重要性权重（通常为采样概率的倒数），以保证期望梯度与均匀采样时一致，从而维持无偏更新。然而，这种校正在多样性感知回放中会带来一个根本性矛盾：如果完全校正采样偏差，那么优先采样稀有转移的效果就被数学上抵消，训练动态退化为与均匀采样无异。研究者因此选择放弃重要性权重校正，接受有偏的梯度估计，转而直接优化一个重新平衡后的目标函数——即让稀有转移在损失中占据更大权重，从而引导策略关注决定任务成败的边缘情况。

关系型稀有事件的窗口化处理

当日志中的稀有情况是关系型的——即仅通过一段行为与其目标的关系来体现，而非任何单个存储的坐标——逐转移的分数就会失效。研究者将同样的尾部规则应用于相对于目标描述的短轨迹窗口，从而恢复了信号。

在必须推着物体绕过障碍物的三关节机械臂任务上，该方法将稀有任务的成功率从0.49提升至0.69，而带有标签的 oracle 上限为0.74。这一结果展示了该方法在真实机器人场景中的潜力。

实践启示与局限

该方法的优势在于完全数据驱动，无需额外标签或奖励信号，计算成本较低。然而，它依赖于存储的特征列选择，对于高维感知输入可能需要进一步适配。此外，放弃重要性权重校正意味着优化目标发生了偏移，这在不同任务中可能需要调整混合比例。

总体而言，这项研究为经验回放中的多样性采样提供了一种简洁而有效的统计工具，尤其适用于稀有事件主导任务性能的机器人学习场景。