Score Centering
一种用于稳定离策略强化学习训练的数值方法，通过对分数函数进行去均值处理，降低策略梯度估计的方差，从而抑制离策略场景下重要性采样权重极端值带来的梯度不稳定问题
时间轴 (近 90 天)
Score Centering有望成为RLHF训练中的默认做法。
Score Centering并不试图消除工程差异（量化、异步等），而是在数学上补偿它们对梯度的影响，因此对上述各类不匹配都适用。
使用修正后的score，期望梯度中的漂移项将完全抵消，只剩下协方差项（学习信号）。
Score Centering在极端量化场景下（如8-bit权重、4-bit KV缓存）仍能保持稳定，而其他方法则出现崩溃。
Score Centering与截断重要性采样等技术兼容，可组合使用。
Score Centering的关键观察是：漂移项源自score函数在Q下的非零期望，因此减去该期望即可精确抵消它，而不影响协方差信号。
Score Centering（分数中心化）通过对分数函数进行去均值处理来降低梯度估计的方差
Score Centering 将基准的作用落点放在离策略校正后的分数项上，而非仅在奖励侧做处理
若 Score Centering 实验验证有效，将为超越 PPO 范式的离策略 LLM 训练路线提供支撑
论文《Score Centering Stabilizes Off-policy Reinforcement Learning》由来自 Together.ai 的研究者 Marek 与 Ryabinin 撰写
全部知识事实 (10)
Score Centering并不试图消除工程差异（量化、异步等），而是在数学上补偿它们对梯度的影响，因此对上述各类不匹配都适用。
50%待验证使用修正后的score，期望梯度中的漂移项将完全抵消，只剩下协方差项（学习信号）。
50%待验证Score Centering在极端量化场景下（如8-bit权重、4-bit KV缓存）仍能保持稳定，而其他方法则出现崩溃。
50%待验证Score Centering与截断重要性采样等技术兼容，可组合使用。
50%待验证Score Centering的关键观察是：漂移项源自score函数在Q下的非零期望，因此减去该期望即可精确抵消它，而不影响协方差信号。
50%待验证论文《Score Centering Stabilizes Off-policy Reinforcement Learning》由来自 Together.ai 的研究者 Marek 与 Ryabinin 撰写
50%待验证Score Centering（分数中心化）通过对分数函数进行去均值处理来降低梯度估计的方差
50%待验证Score Centering 将基准的作用落点放在离策略校正后的分数项上，而非仅在奖励侧做处理
50%待验证Score Centering有望成为RLHF训练中的默认做法。
50%待验证若 Score Centering 实验验证有效，将为超越 PPO 范式的离策略 LLM 训练路线提供支撑
50%