概念
on-policy
一种训练采样策略，训练数据由当前模型实时生成，确保训练分布与推理分布一致，避免分布错配
核心事实
时间轴 (近 90 天)
10月17日
ORL采用on-policy残差学习：训练数据由当前模型实时生成，以保证训练分布与推理分布一致。
待验证50%
10月13日
PPO是一种在线策略（on-policy）算法，要求每次更新使用的数据必须来自当前策略。
待验证50%
9月24日
PPO等主流RL算法要求用于生成样本的策略与当前被优化的策略尽量一致（on-policy），否则off-policy数据会引入偏差、降低样本效率并可能导致训练不稳定
待验证50%
9月20日
推理模型与普通 LLM 的核心区别在于训练方式而非架构，推理模型在预训练和监督微调基础上引入了强化学习阶段
待验证50%
8月9日
off-policy算法（如SAC、DQN）可以用任意策略采集的数据训练，能维护百万级经验回放池反复学习，样本效率高于on-policy方法
已验证65%
全部知识事实 (5)
已验证
off-policy算法（如SAC、DQN）可以用任意策略采集的数据训练，能维护百万级经验回放池反复学习，样本效率高于on-policy方法
65%待验证ORL采用on-policy残差学习：训练数据由当前模型实时生成，以保证训练分布与推理分布一致。
50%待验证PPO是一种在线策略（on-policy）算法，要求每次更新使用的数据必须来自当前策略。
50%待验证PPO等主流RL算法要求用于生成样本的策略与当前被优化的策略尽量一致（on-policy），否则off-policy数据会引入偏差、降低样本效率并可能导致训练不稳定
50%待验证推理模型与普通 LLM 的核心区别在于训练方式而非架构，推理模型在预训练和监督微调基础上引入了强化学习阶段
50%