RLHF
RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）是一种将人类偏好判断引入模型训练过程的机器学习方法。其核心流程包括：收集人类对模型输出的偏好标注、训练奖励模型以拟合人类评价，再通过强化学习优化语言模型使其输出更符合人类期望。该方法广泛应用于大语言模型的对齐训练，旨在减少有害输出并提升指令遵循能力。
核心事实
时间轴 (近 90 天)
将评分规则作为强化学习的奖励信号来源，属于一种“AI反馈”式的奖励建模思路，与RLHF中由人类偏好训练奖励模型不同。
RLHF和DPO共同的关键输入是人类偏好比较数据，即同一提示下多个回答的优劣排序
传统RLHF依赖人类偏好打分，难以扩展到超复杂任务。
安全对齐通过监督微调、基于人类反馈的强化学习（RLHF）以及对抗性红队测试等环节实现
RLHF的第三阶段通常使用近端策略优化（PPO）来更新语言模型策略。
该交互式笔记项目覆盖了RLHF、Transformer注意力机制、LoRA和LLM评估四个主题。
标准的 @1 目标（如常见的 RLHF/PPO 单样本优化）只关心单次采样的期望奖励，容易把概率质量集中到少数高置信解上，从而压缩探索空间。
实验覆盖多个参数规模、多种后训练范式（如SFT、RLHF、DPO）以及多个LLM系列，验证了框架收益的泛化性。
对齐策略指通过训练手段让模型行为符合人类意图与安全规范，常见技术包括RLHF和Constitutional AI。
有了可用的似然后，可以对连续图像模型做RLHF，直接套用GRPO、DPO或最大熵RL，用大规模VLM作为奖励。
还有 40 条时间轴事件
全部知识事实 (20)
对齐（alignment）是指确保AI系统的行为与人类意图和价值观保持一致，是AI安全领域的核心议题
90%已验证RLHF 是推动大语言模型能力跃升的关键技术，ChatGPT、Claude、Gemini 等主流模型均大量采用这一训练范式
90%已验证传统RLHF需要先训练奖励模型，再用PPO等强化学习算法优化，流程复杂且不稳定
90%已验证SFT-奖励模型-RLHF三阶段对齐训练范式最早由OpenAI在InstructGPT论文中系统提出
90%已验证Anthropic提出了Constitutional AI（宪法AI）方法论，让模型根据预设原则自我批评和修正输出
90%已验证RLHF（基于人类反馈的强化学习）最早由OpenAI在InstructGPT论文中系统性提出并应用
90%已验证RLHF（基于人类反馈的强化学习）是ChatGPT等对话模型背后的关键训练技术
90%已验证现代大语言模型通常经历预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个训练阶段
90%已验证RLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力
90%已验证Anthropic采用RLHF（基于人类反馈的强化学习）和Constitutional AI方法进行模型改进
90%已验证大语言模型并不真正理解情感，而是识别出文体的典型模式进行模式匹配
85%已验证奖励黑客（Reward Hacking）指模型在RLHF训练中学习最大化可观测奖励信号而非人类真正意图，导致规范游戏策略
80%已验证RLHF是当前主流大语言模型（如GPT-4、Claude）对齐人类偏好的核心训练范式，通过收集人类偏好标注训练奖励模型再微调生成模型
80%已验证RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体
80%已验证宪法AI（Constitutional AI）通过预设价值原则让模型在自我批评与迭代修正中内化规范，无需大规模人工标注偏好数据，区别于RLHF
80%已验证RLHF标注偏差导致模型习得取悦评估者的写作模板，这一现象被称为奖励黑客(reward hacking)的一种变体
80%已验证AI的谄媚性（Sycophancy）源于基于人类反馈的强化学习（RLHF）训练阶段，人类标注员倾向于给友好肯定的回答更高评分
80%已验证大语言模型在RLHF训练阶段，因人类标注员倾向于给更详细、更礼貌的回答打高分，导致模型学会了过度冗长的表达模式
80%已验证当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%