L2RR
一种针对GRPO的rollout效率优化方法，在源与目标数据分布不匹配且目标数据不可共享的场景下，利用目标侧有限聚合反馈学习源提示采样分布，通过双层优化对齐下游性能
时间轴 (近 90 天)
L2RR方法的核心思想是：目标数据所有者可以提供来自小型留出目标集的有限聚合反馈（如准确率），而无需暴露目标提示或rollout轨迹。
L2RR学习一个源提示上的离散采样分布，通过优化一个双层目标：最大化留出目标数据集上的准确率，同时惩罚那些提供很少增量学习信息的rollout。
双层优化是一类嵌套优化问题：外层优化一组超参数或分布参数，内层则在该参数给定的条件下求解模型的最优策略。L2RR把源提示上的采样分布作为外层变量，把GRPO的策略更新作为内层问题。
L2RR在六个数学推理基准和三种模型规模上进行了实证评估，结果表明L2RR提升了目标域性能，同时提高了rollout效率。
L2RR提供了一种协作范式：目标数据所有者无需共享原始数据，只需提供聚合反馈，即可帮助训练器优化采样策略。
全部知识事实 (5)
L2RR方法的核心思想是：目标数据所有者可以提供来自小型留出目标集的有限聚合反馈（如准确率），而无需暴露目标提示或rollout轨迹。
50%待验证L2RR学习一个源提示上的离散采样分布，通过优化一个双层目标：最大化留出目标数据集上的准确率，同时惩罚那些提供很少增量学习信息的rollout。
50%待验证双层优化是一类嵌套优化问题：外层优化一组超参数或分布参数，内层则在该参数给定的条件下求解模型的最优策略。L2RR把源提示上的采样分布作为外层变量，把GRPO的策略更新作为内层问题。
50%待验证L2RR在六个数学推理基准和三种模型规模上进行了实证评估，结果表明L2RR提升了目标域性能，同时提高了rollout效率。
50%待验证L2RR提供了一种协作范式：目标数据所有者无需共享原始数据，只需提供聚合反馈，即可帮助训练器优化采样策略。
50%