RLVR泛化困境：推理策略为何在OOD下失效

强化学习 with 可验证奖励（RLVR）被视为提升大语言模型推理能力的重要路径，但一项新研究揭示了一个反直觉的现象：模型在分布内任务上表现优异，却在分布外（OOD）迁移时崩溃。这篇论文通过可控的方程求解框架，深入分析了RLVR泛化失败的原因，并提出了一个出人意料的缓解策略。

研究背景：RLVR的泛化承诺与隐忧

RLVR通过可验证的奖励信号（如答案正确性）来优化模型输出，已在数学推理、代码生成等任务上展现出潜力。其核心假设是：模型不仅能学会解决训练分布内的任务，还能将推理策略泛化到新场景。

然而，论文指出这种泛化并非理所当然。作者设计了一个可控的方程求解框架——给定非双射字符串函数 f，要求模型找到多个输入 x 使得 f(x)=y。这个设定让推理策略变得可观察，同时支持明确定义的“从易到难”OOD偏移（如更多解、更长的 y 等）。通过这一框架，研究者能够精确追踪模型在分布内和分布外行为的变化。

双射函数与非双射函数：双射（bijection）指一一对应的映射，即每个输入恰好对应一个输出，且每个输出也恰好有一个输入。在方程求解框架中，双射函数 f 意味着给定 y 时存在唯一解 x，模型需要执行确定性的逆运算；而非双射函数则允许多个 x 映射到同一个 y，模型必须搜索多个解。这种结构差异直接影响了模型所采用的推理策略：双射任务天然迫使模型进行精确的逆推，而非双射任务则可能诱导枚举或启发式搜索。理解这一区分有助于把握论文为何选择双射反转任务作为协同训练目标，以及它如何与最终评估的非双射 OOD 任务形成对比。

核心发现：RLVR在OOD下的策略崩溃

实验揭示了一个微妙的RLVR失败模式：模型在分布内任务上不仅准确率高，还能生成结构化的逐步推导过程；但在OOD偏移下，同一个模型却放弃了推导，退化为低效的暴力枚举，导致准确率急剧下降。

这一现象排除了两种常见解释：其一，基座模型本身能力不足——因为它在分布内已展现出正确的推理策略；其二，奖励黑客（reward hacking）——因为模型在分布内确实成功完成了任务。作者认为，这暴露了RLVR泛化的深层挑战：模型学到的推理策略并未真正泛化，而是在分布外压力下瓦解。

分布外（OOD）与分布内（ID）：在机器学习中，分布内指测试数据与训练数据来自同一分布，分布外则指测试数据来自不同分布（如更难、更长或结构不同的任务）。本研究的 OOD 偏移是通过可控方式构造的，例如增加解的数量或延长目标字符串 y，从而系统性地改变任务难度和结构。这种设定使研究者能够观察模型在“熟悉但稍难”的场景下是否仍能保持推理策略。OOD 泛化是评估模型真实推理能力的关键指标，因为现实应用中的任务往往偏离训练分布。

意外解法：双射反转任务协同训练

缓解这一失败的关键是一种间接干预：与双射反转任务进行协同训练。双射任务（即一一对应的函数）实际上并不均匀地更难，甚至与最终评估的非双射OOD任务相距更远。但正是这些任务让模型的推导过程更加确定，并在OOD偏移下显著恢复了正确的推理策略和准确率。

这一发现令人意外，因为它违背了“越接近评估任务越有帮助”的直觉。作者进一步通过理论分析解释：仅基于结果的RLVR可以通过隐式地给予有效推理策略更多信用，从而塑造推理过程，即使没有过程监督。

奖励黑客（Reward Hacking）：指模型通过利用奖励函数的漏洞或捷径来获取高奖励，而非真正学会期望的行为。在 RLVR 中，如果奖励仅基于最终答案正确性，模型可能学会猜测或枚举而非执行有效推理。论文通过分布内任务的成功排除了奖励黑客解释，因为模型在分布内确实生成了结构化的逐步推导，而非投机取巧。这一概念对于理解 RLVR 的失败模式至关重要，因为它区分了“策略未泛化”与“策略退化”两种不同的问题。

理论洞察与启示

论文的理论分析表明， outcome-only RLVR 并非仅仅优化最终答案，它能够隐式地激励模型采用更有效的推理策略。协同训练双射任务之所以有效，可能是因为这类任务要求模型进行确定性的逆推，从而强化了推导的确定性，使模型在面临OOD偏移时更倾向于坚持结构化推理而非退化为枚举。

这一工作系统性地揭示了推理策略在RLVR泛化中的关键角色，并提供了一个可分析、可干预的研究框架。代码已开源在 https://github.com/ziqipang/rl_meta_thinking，为后续研究提供了基础。

隐式信用分配（Implicit Credit Assignment）：在仅基于结果的强化学习中，奖励信号只作用于最终输出，模型需要自行推断哪些中间步骤对成功有贡献。隐式信用分配指模型通过优化最终结果，间接地为有效的推理策略分配更高的信用，从而强化这些策略。论文的理论分析表明，即使没有过程监督，RLVR 也能通过这种机制塑造推理过程。协同训练双射任务可能通过增加确定性逆推的样本，强化了模型对结构化推理的信用分配，使其在 OOD 压力下仍能坚持有效策略。这一概念连接了结果监督与过程监督，解释了 RLVR 泛化的潜在机制。

对AI推理研究的启示

对于关注LLM推理能力的研究者和开发者而言，这项研究传递了几个重要信号：RLVR的泛化不能仅靠扩大训练分布，推理策略的稳定性需要专门设计；间接的辅助任务可能比直接模拟OOD任务更有效；结果监督与过程监督之间的界限可能比想象中更模糊。未来，如何设计能诱发稳健推理策略的奖励结构与训练课程，将成为RLVR走向实际应用的关键问题。