数据集不匹配？L2RR如何优化GRPO的rollout效率

强化学习从可验证奖励中学习（RLVR）已成为提升大模型推理能力的关键技术，而组相对策略优化（GRPO）是其中的主流方法。但GRPO面临一个现实矛盾：rollout效率与下游性能难以兼得。现有选择性rollout方法仅依赖源侧训练动态来优化提示采样分布，却忽视了一个关键问题——源训练数据集与目标测试数据集往往不同分布。当这种不匹配存在时，由于法律或隐私限制，直接共享目标提示并不可行。那么，能否在不暴露目标数据的前提下，利用目标侧的有限反馈来提升GRPO的效率与性能？一项新研究提出的L2RR方法给出了肯定答案。

GRPO的效率困境与选择性rollout的局限

GRPO通过分组采样和相对奖励优化策略，在数学推理等任务上表现出色。然而，其训练过程需要大量rollout，计算成本高昂。为了提升效率，研究者提出了选择性rollout方法，即动态选择部分源提示进行采样，而非均匀对待所有提示。这些方法通常基于源侧训练动态（如损失变化、梯度信息）来优化源提示上的离散分布。

问题在于，现实场景中源训练集与目标测试集很少同分布。例如，源数据可能来自公开数学题库，而目标数据是特定领域的私有题目。当分布不匹配时，仅依赖源侧动态选择提示，可能导致在目标域上表现不佳。更棘手的是，目标提示本身往往因隐私或法律原因无法共享给RLVR训练器。这似乎形成了一个死结：既要利用目标信息，又不能接触目标数据。

rollout（展开采样） 在强化学习与大模型对齐语境中，指模型针对给定提示生成多条完整回复轨迹的过程，这些轨迹随后被用于计算奖励并估计策略梯度。在GRPO中，每个提示需要采样一组（group）回复以计算组内相对优势，因此rollout次数直接决定了训练的计算开销。rollout效率即指在固定算力预算下，如何把采样机会分配给最有信息量的提示，从而以更少的轨迹获得同等或更优的策略改进。理解这一点是把握选择性rollout动机的前提：并非所有提示对策略更新的贡献相同，冗余或过易的提示会产生大量低梯度信号，浪费算力。

L2RR：用目标侧聚合反馈重加权rollout

论文提出的学习重加权rollout（L2RR）方法巧妙地绕开了这一限制。其核心思想是：目标数据所有者可以提供来自小型留出目标集的有限聚合反馈（如准确率），而无需暴露目标提示或rollout轨迹。L2RR将这种目标侧性能反馈显式地融入GRPO训练。

具体来说，L2RR学习一个源提示上的离散采样分布，通过优化一个双层目标：最大化留出目标数据集上的准确率，同时惩罚那些提供很少增量学习信息的rollout。这种双层优化确保采样分布既偏向对目标域有用的源提示，又避免在冗余提示上浪费计算。与仅依赖源侧动态的方法相比，L2RR引入了目标侧信号，直接对齐下游性能。

双层优化（bilevel optimization） 是一类嵌套优化问题：外层优化一组超参数或分布参数，内层则在该参数给定的条件下求解模型的最优策略。L2RR正是把源提示上的采样分布作为外层变量，把GRPO的策略更新作为内层问题，外层目标为最大化留出目标集上的准确率并惩罚低信息量rollout。其难点在于外层梯度需通过内层训练过程反传，通常采用隐式微分或一阶近似来降低计算成本。这一框架使采样分布能够被下游目标性能直接驱动，而非仅依赖源侧的训练动态，从而在分布不匹配时仍能对齐目标域。

聚合反馈（aggregated feedback） 指目标数据所有者仅返回一个统计量（如留出集上的准确率或平均奖励），而非逐条提示、逐条轨迹的细粒度信息。这种设计在隐私保护中具有重要意义：聚合量通常满足差分隐私或至少不泄露单条样本的语义内容，使训练器无法反推目标提示本身。L2RR依赖的正是这种低带宽信号，它足以估计采样分布对目标域性能的影响方向，却不足以重建目标数据。聚合反馈的粒度与频率因此成为通信成本与优化效果之间的关键权衡点。

实验验证：六大基准与三种模型规模

研究在六个数学推理基准和三种模型规模上进行了实证评估。结果表明，L2RR提升了目标域性能，同时提高了rollout效率。这意味着，在源与目标数据分布不匹配的情况下，L2RR能够更有效地利用计算资源，并取得更好的下游表现。虽然论文未披露具体提升幅度，但这一方向对于实际部署RLVR很关键——毕竟，隐私约束下的数据孤岛是常态，而非例外。

对RLVR实践的启示

L2RR的价值不仅在于方法创新，更在于它提供了一种可行的协作范式：目标数据所有者无需共享原始数据，只需提供聚合反馈，即可帮助训练器优化采样策略。这对于医疗、金融等隐私敏感领域应用RLVR尤为关键。同时，该工作也提醒我们，数据集不匹配是GRPO实践中不可忽视的因素，忽略它可能导致效率优化偏离目标。未来，如何设计更高效的反馈机制、降低通信成本，将是值得探索的方向。