能训练推理LLM的GRPO，为何教不会机器人走路

GRPO 让 DeepSeek 的推理模型训练成本大幅下降，于是有了一个自然的问题：既然它又便宜又好用，为什么没人拿它去做机器人控制？Reddit 上的一篇技术讨论给出了两个理由，而这两个理由属于完全不同类型的问题。

从 REINFORCE 到 GRPO：被删掉的 critic

这篇讨论是对此前一条算法脉络梳理的跟进：REINFORCE → PPO → GRPO。那篇梳理把 GRPO 概括为"PPO 减去 critic，再加上一个组内均值 baseline"。

这个概括直接引出了文章开头的问题。如果 GRPO 更便宜，而且在 DeepSeek^广告 的推理模型上表现足够好，那它在控制任务上为什么没有出现同样的替代效应？作者认为答案有两个，而且它们不是同一类麻烦：一是偏差的存在，二是每一步都被施加了同一个反馈信号。

后者其实就是 REINFORCE 当年那个 credit assignment（信用分配）问题——critic 被拿掉之后，它又回来了。

Critic（价值函数）到底是什么：在 PPO 这类 actor-critic 算法中，critic 是一个与策略网络并行训练的价值网络，它估计在某个状态下、遵循当前策略所能获得的期望累积回报 V(s)。它的核心作用是提供逐状态、逐时间步的基线：当实际回报高于 V(s) 时说明该动作比预期好，应被强化；低于 V(s) 则被抑制。这样每个时间步都能得到自己特有的"好坏信号"，这也是它解决信用分配问题的关键。代价是 critic 本身要训练、要调参、容易估计不准，还会引入额外显存和计算开销。

组内均值 baseline 是什么：GRPO 去掉了价值网络，改为对同一个 prompt（或同一个初始状态）采样一组 G 个输出，用这组输出的平均奖励作为基线。每个样本的优势就等于"自己得分 − 组内平均分"。这在 LLM 场景下很自然，因为一次生成就是一个完整样本，奖励是终局的。但组内均值是一个跨整条轨迹共享的标量，它无法区分轨迹内部每一步的贡献——这正对应原文所说的"每一步都被施加了同一个反馈信号"。

Credit assignment（信用分配）：指在序列决策中把最终获得的奖励归因到具体哪一步决策上的问题。如果奖励只有在 episode 结束时才出现，而中间有几十上百步动作，如何判断是哪一步导致了成败？REINFORCE 用一个全局的回报标量乘以每一步的 log 概率梯度，天然无法定位；PPO 靠 critic 为每一步提供独立的优势估计来缓解；GRPO 去掉 critic 后，这个定位能力在长序列控制任务中重新缺失。

LLM 能忍受，机器人不能

信用分配问题对 LLM 之所以不致命，是因为 LLM 的强化学习场景有几个特殊的结构性便利：只有一个终局奖励、环境相对安静、起始状态可以重放、而且模型本身带着预训练先验。这些条件叠加起来，让"每一步都收到同一个反馈"这件事变得可以接受。

机器人那边没有这些便利。每一帧的状态都在变化，物理反馈连续且不可重放，且没有一个预训练先验能告诉它"腿该怎么动"。同一个反馈信号均摊到每个时间步上，等于没有告诉它究竟是哪一步走错了。

五个经典控制任务上的对照实验

讨论中引用了 De Oliveira 等人的工作（arXiv:2511.03527），在五个经典控制任务上对比了无 critic 方法与 PPO。

结果是：除 CartPole 之外，PPO 在所有任务上都胜出。而 GRPO 的组加权机制相比一个朴素的 batch mean，并没有带来更好的表现——也就是说，GRPO 相对 REINFORCE 的那点改进，在控制任务上并没有兑现。

CartPole 是唯一的例外，但它的任务复杂度极低，不足以推翻整体趋势。

五个经典控制任务通常指强化学习基准库中的离散或连续控制环境：CartPole（平衡一根杆子，状态极简、步数短）、Acrobot（两连杆欠驱动摆起，需靠甩动获得能量）、MountainCar（小车在低谷中反复摆荡蓄能登上山顶，奖励稀疏）、以及 Pendulum（倒立摆连续控制）等。这些任务的共同特征是状态连续变化、奖励往往是每步或近似稀疏、且对策略的时序精细度要求远高于 LLM 生成——每一步走错都可能让后续轨迹整体崩坏，因此对信用分配的精度非常敏感。

组加权机制（group weighting）：指 GRPO 中不仅用组内均值作基线，还常常对组内样本的优势做归一化（例如除以组内标准差）来重新加权。理论上这能让梯度更稳定、更少受奖励尺度影响。但论文的对照显示，在控制任务上它与一个朴素的 batch mean 基线差异不大——说明这部分"改进"的收益依赖于 LLM 场景的特定结构（如奖励方差分布），并不能迁移到控制任务。

为什么 PPO 在 CartPole 上可能不占优：CartPole 状态维度低、episode 短、任务难度极低，几乎任何合理算法都能学到一个还不错的策略，此时 critic 带来的额外开销和估计误差反而可能拖累表现。这正是作者强调"CartPole 是例外但不能推翻整体趋势"的原因——它太简单，不具代表性。

这不是"算法更差"，而是问题类型不同

一个容易被误读的点是：这个结论并不说明 GRPO 是个坏算法。它在推理模型上的成功是真实的，只是它的成功依赖一组特定条件——终局奖励、可重放环境、预训练先验。

当这些条件不成立时，被删掉的 critic 所承担的那部分工作没有人接手，退化就出现了。控制任务恰好是这类条件全部不成立的地方。

作者在文末做了利益披露：论点和脚本由本人完成，Claude 协助了润色和可视化部分。

原文附带可交互图表：https://sreejithb.com/grpo_dissect/single

预训练先验为什么关键：LLM 在做强化学习之前，已经通过大规模文本预训练学到了语言的语法、常识和基本的推理模式。微调阶段的 RL 其实只是在一个已经相当强的策略上做偏好对齐——它不太需要从零学会"什么是好回答"，只需要在已有能力附近做调整。机器人控制没有这样的先验：一个随机初始化的策略面对连续电机信号，完全不知道"腿该往哪个方向摆"，必须靠每一步的奖励信号硬生生学出运动模式。因此当奖励信号被均摊、信用分配不清时，机器人几乎无法前进，而 LLM 还能靠先验兜底。

可重放起始状态的意义：在 LLM 场景中，同一 prompt 可以被多次采样，环境（上下文）完全一致且可重复；GRPO 的组内比较正是建立在这一点上。机器人则面对连续变化的真实物理，同一初始位置几乎不能精确复现，加上噪声和不可逆的物理反馈，组内比较的前提本身就不成立。这些结构性差异共同解释了为什么一个在推理模型上大获成功的算法，迁移到控制领域会出现系统性的退化，而不是简单的"算法更差"。