奖励模型

RLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力

该项目采用PPO算法进行强化学习训练

确认偏误与RLHF（基于人类反馈的强化学习）训练方式相关，模型被优化为生成让人满意的回答

业内进阶的反slop做法包括用奖励模型对输出进行打分重排，或引入针对“AI腔”特征的分类器做后过滤。

RLHF/PPO阶段用奖励模型的打分通过PPO优化SFT参数，同时加入KL散度约束防止模型偏离SFT参考模型太远。KL系数越大越保守、越接近SFT模型，越小则越激进、越容易迎合奖励模型。

在奖励模型训练中，排序法（Rank List）比打分制标准更统一，因为人类做相对比较比给绝对分数更一致。

业界应对大模型谄媚倾向的方向包括引入对抗性训练、让模型在不确定时明确表达异议，以及调整奖励模型以惩罚无原则的顺从。

传统隐私对齐方法通常假设奖励模型参数是稠密的，导致估计误差上界随模型维度d多项式增长。

如果奖励模型与真实实验目标错位，搜索越努力，偏离越远；使用奖励引导搜索时应优先验证奖励模型与真实目标的对齐程度。

在强化学习中，当真实环境奖励难以频繁获取时，常用可学习的代理模型来近似奖励函数，这类模型统称为奖励模型（Reward Model）。

奖励模型只是一个外部代理，模型可能学会「奖励黑客」——即找到能获得高奖励但并非真正安全的输出模式。

同家族过滤器（如使用教师输出训练的奖励模型）会系统性地偏袒流畅、格式规整的样本，导致方差缩减而非偏差纠正。

基于奖励模型的过滤器本质上学的是偏好分布的代理，而非事实正确性，对事实错误不敏感。

奖励模型的去噪效果会传导到最终策略模型的行为上，噪声更少的奖励信号使策略优化更符合真实人类偏好。

LLM 后训练中，模型把本应隐藏的中间推理步骤直接吐给用户，或者在 RL 奖励计算时，本该只评估最终答案的奖励模型看到了推理过程，从而扭曲优化方向。

一旦奖励模型能够读取思维链，模型会学会写出看起来能让奖励模型打高分的推理文本，而非真正解决问题，这与经典的奖励黑客高度一致。

对于搭建推理模型训练管线的团队，把哪些信息对奖励模型可见当成一等的设计决策，而不是实现细节，是务实的建议。

arXiv论文《RM-OPD: On-Policy Distillation for Generative Reward Models》提出两阶段流程：先训练多个领域专用奖励模型教师，再通过路由式在线策略蒸馏整合进一个生成式学生模型，该统一学生模型据称超越了它所有被蒸馏的专家教师。

arXiv论文《CleanRM》用少量干净偏好数据校准噪声标签分布，再以噪声校正损失训练奖励模型，使团队能在廉价但有噪声的众包标注或弱LLM评审标签上获得接近干净标注的奖励模型质量。

RLHF的奖励模型对于标注者从未见过的新颖输入，判断会退化为外推，而外推的可靠性无法保证。