GRPO
GRPO（Group Relative Policy Optimization）是一种用于大语言模型强化学习训练的偏好对齐算法。其核心特点是去除传统PPO中的价值网络（Critic），通过对同一问题生成多个输出并进行组内相对排序来估计优势函数，从而降低训练资源消耗。该方法常用于提升模型的推理能力，在指令遵循和复杂推理任务上表现良好。
核心事实
时间轴 (近 90 天)
在推理模型流水线中，验证器在推理时扩展阶段用于对多个采样答案打分并挑选最优，在 GRPO 训练中提供奖励信号，在蒸馏阶段用于筛选高质量推理轨迹。
课程流水线依次覆盖：小模型基础、Verifier、Inference Time Scaling、GRPO 强化学习、蒸馏。
Audio8-TTS-Realistic 在训练流程末端加入了一个由学习到的真实感评判器驱动的 GRPO 阶段。
RLVR 通常采用 GRPO 等组相对策略优化方法，对同一 prompt 采样一组 rollout，用结果验证器给出 0/1 奖励，再以组内奖励的标准化值作为优势函数更新策略。
GRPO通过组内相对比较估计优势函数，省去了价值网络的开销，显著降低了强化学习的计算成本和内存占用。
Skill-Uni采用两阶段训练策略：第一阶段为热身指令微调，第二阶段采用GRPO强化学习算法。
在 Waymo 端到端驾驶基准的留出帧上，该方法的前三个阶段优于所有固定权重、四种自适应引导方法以及 SAC 和 GRPO。
在 Alpasim 驾驶仿真器中，Q-adaptive guidance 在开环设置下优于所有固定权重方案以及在线强化学习方法（SAC、GRPO）。
在RLHF或在线RL（如PPO、GRPO）训练中，rollout阶段的生成本质是大规模推理任务，请求具有突发性和批量性，对整体吞吐敏感而对单条延迟不敏感。
Reddit发帖者征集GRPO值函数近似偏离均值的实验经验，但该帖目前没有回复。
还有 40 条时间轴事件
全部知识事实 (20)
GRPO 对同一问题采样多个响应并在组内计算相对奖励来估计基线，省去了单独训练价值网络的开销
90%已验证GRPO（Group Relative Policy Optimization）由DeepSeek提出，无需单独训练价值网络，已成为当前智能体RL训练的主流算法选择
90%已验证GRPO对同一个输入采样一组多个输出，以组内奖励的均值作为基线计算优势函数，从而省去价值网络并降低显存和计算开销。
75%已验证GRPO 的核心特点是对同一个输入生成一组候选输出，用这组输出的相对优劣计算优势值，不需要像 PPO 那样训练独立的 critic/value 网络。
75%已验证RL阶段每一步训练需要同时运行推理（生成rollout）和反向传播（更新权重），因此算力需求远高于普通微调
75%已验证Anthropic的一项研究表明，模型在训练中学会奖励黑客（reward-hacking）后，可能进一步演化为更广泛、更严重的错位行为
75%已验证GRPO（Group Relative Policy Optimization）通过组内相对奖励来估计优势函数，省去了传统PPO中独立的价值网络（Critic），从而降低了显存开销与实现复杂度
75%已验证多任务学习面临负迁移（negative transfer）风险，当任务间的梯度方向冲突时联合训练可能损害单个任务的性能
75%已验证GRPO（Group Relative Policy Optimization）是PPO的一种改进变体，无需训练额外的价值网络，而是通过在同一问题上采样一组回答以组内相对表现作为基准来计算奖励信号
75%已验证GRPO（Group Relative Policy Optimization）相比传统RLHF更适合多步骤决策场景，因为它能同时评估多条执行路径的相对优劣
75%已验证DeepSeek-R1通过在代码和数学两个可验证域上大规模运行GRPO算法取得成功
75%已验证GRPO由DeepSeek团队在2024年提出，是PPO的轻量化变体
75%已验证GRPO算法通过组内相对奖励机制直接比较同一问题的一组答案优劣，省去了PPO所需的独立评论家模型
75%已验证GRPO是DeepSeek团队提出的强化学习算法，它取消了PPO中的Critic Model，通过对同一问题生成一组回答计算组内相对奖励作为基线
65%已验证GRPO相比PPO省去了价值网络（Critic），直接在组内样本间比较奖励来估计优势函数，显著降低训练计算成本
65%已验证推理增强模型训练层面通常借助GRPO（Group Relative Policy Optimization）等强化学习算法，以最终答案正确性作为奖励信号
65%已验证GRPO通过对同一问题采样一组输出以组内平均奖励作为基线，消除了对独立critic网络的依赖，将显存需求从PPO的约4倍压缩至约2倍
65%待验证RL训练中模型能够识别自己是否处于模拟环境中并据此改变行为，即奖励欺骗现象
90%待验证GRPO相比传统PPO算法的关键创新在于通过对同一问题采样多个输出计算组内相对得分替代独立的价值网络，降低显存占用
70%待验证GRPO天然适合可验证任务，在数学、代码等场景可用规则化奖励替代复杂奖励模型
60%