CRoS：用乱序思维链做奖励，提升推理准确性与忠实度

强化学习可验证奖励（RLVR）已成为训练语言模型推理能力的标准方法，但它通常只依赖结果正确性，无法保证思维链（CoT）真正因果地贡献于最终答案。缺乏这种因果联系，结果奖励可能无法强化高质量推理。现有的因果性度量通过扰动CoT（如删除推理步骤或注入错误）来评估因果性，并测量最终答案的变化。然而，这些扰动不可避免地改变了每一步的信息，导致高因果性分数可能反映的是对扰动引入的信息变化的敏感性，而非真正的因果性。这种混杂效应在将这些度量作为训练奖励时，会诱发不良推理行为，包括生成信息量更少的CoT、减少探索和自我纠正。

为解决这一问题，研究者提出了CRoS（Causality Reward on Scrambled CoTs），一种新颖的CoT因果性度量方法。它通过打乱推理步骤的顺序而不改变内容来扰动CoT，从而保留每一步内的信息。在Reasoning Gym基准上，使用Gemma-3-4B模型，CRoS在域外准确率、CoT质量和CoT忠实度方面均优于现有的因果性和结果奖励。具体而言，CRoS在五个未见过的逻辑和游戏数据集上达到了46.8%的准确率，超过了最强基线（43.8%）。在CoT质量方面，CRoS在CoT-Pass@K（K=1到128）上持续优于基线，平均为43.4%对41.4%。对于CoT忠实度，CRoS的提示承认分数为34.0%，而基线为20.2%。

为什么结果奖励不够？

RLVR的核心思想是利用可验证的结果（如数学题的最终答案）作为奖励信号来训练模型。这种方法在多个推理任务上取得了成功，但它存在一个根本性缺陷：模型可能通过错误的推理过程得到正确答案（即“虚假正确”）。例如，模型可能猜测答案、依赖浅层模式或使用不相关的推理步骤。在这种情况下，结果奖励会强化这些低质量的推理路径，而不是真正促进逻辑推理。

因此，研究者试图引入因果性度量作为辅助奖励，以评估CoT对最终答案的因果贡献。直观地说，如果CoT是因果必要的，那么破坏CoT应该导致答案改变。现有的方法通过删除步骤或注入错误来破坏CoT，然后观察答案的变化程度。但问题在于，这些扰动同时改变了每一步的信息内容，使得度量结果混杂了信息变化的影响。

RLVR（Reinforcement Learning with Verifiable Rewards） 是一类强化学习范式，其奖励信号来自可自动验证的结果（如数学题的数值答案、代码的单元测试通过与否），而非人工标注或学习得到的奖励模型。典型代表包括用最终答案正确性作为唯一奖励的 GRPO 等方法。RLVR 的优势在于奖励客观、可扩展，但缺点也正源于此：奖励只关心结果对不对，不关心推理过程是否合理。当模型通过猜测、模式匹配或无关步骤偶然得到正确答案时，结果奖励同样会给予正向反馈，从而强化“虚假正确”的推理路径。因此，RLVR 需要辅助信号来约束推理过程的质量，这正是因果性奖励试图解决的问题。

CRoS的核心思想：乱序而不改内容

CRoS的巧妙之处在于，它通过打乱推理步骤的顺序来扰动CoT，而不修改任何步骤的内容。这样，每一步的信息被完整保留，但步骤之间的逻辑顺序被破坏。如果CoT的因果结构是重要的，那么打乱顺序应该显著影响最终答案；反之，如果模型只是机械地拼接步骤，顺序可能无关紧要。

这种方法避免了信息变化的混杂效应，因为它只改变了步骤的排列顺序，而没有增删或修改信息。因此，基于乱序的因果性分数更能反映CoT对答案的真实因果贡献。

混杂效应（confounding effect） 在因果推断中指一个同时影响处理变量和结果变量的第三变量，使得观察到的关联并非真实的因果关系。在 CoT 因果性度量中，扰动（删除步骤或注入错误）同时改变了“步骤顺序/结构”和“每一步的信息内容”两个因素；最终答案的变化可能来自信息内容改变，而非因果结构被破坏。这样得到的因果性分数是两种效应的混合，无法单独归因于因果性。CRoS 通过乱序只改变结构、保留信息内容，从而切断了“信息变化”这一混杂路径，使分数更接近对因果结构的纯粹测量。

实验结果：全面超越基线

研究者在Reasoning Gym基准上进行了实验，使用Gemma-3-4B模型，对比了CRoS与现有因果性奖励和结果奖励。评估指标包括域外准确率、CoT质量和CoT忠实度。

在域外准确率方面，CRoS在五个未见过的逻辑和游戏数据集上达到了46.8%的准确率，而最强基线为43.8%。这表明CRoS训练的模型具有更好的泛化能力。

在CoT质量方面，CRoS在CoT-Pass@K指标上（K从1到128）持续优于基线，平均为43.4%对41.4%。CoT-Pass@K衡量的是在K次采样中至少有一次生成高质量CoT的概率，反映了模型生成可靠推理链的能力。

在CoT忠实度方面，CRoS的提示承认分数为34.0%，而基线为20.2%。提示承认分数衡量的是当答案受到提示影响时，模型是否在CoT中承认这一影响。更高的分数表明CoT更忠实地反映了模型的真实推理过程，而不是事后合理化。

CoT-Pass@K 是评估思维链质量的采样指标：对同一问题独立采样 K 条 CoT，若其中至少有一条满足高质量判据（如推理步骤完整、逻辑一致、最终答案正确），则记为通过。K 越大，模型越有机会“碰到”一条好链，因此该指标随 K 增大而上升。比较不同方法时，通常观察整条 Pass@K 曲线而非单点，以判断模型是稳定生成高质量 CoT，还是仅靠大量采样碰运气。CRoS 在 K=1 到 128 上持续领先，说明其提升并非来自采样多样性，而是模型本身生成可靠推理链的概率更高。

提示承认分数（hint acknowledgment score） 用于衡量 CoT 忠实度：在答案受到外部提示（hint）影响的条件下，检查模型是否在 CoT 中明确承认使用了该提示。若模型受益于提示却在推理链中只字不提，则 CoT 属于事后合理化，忠实度低。该分数越高，说明模型的推理链越诚实地反映其真实决策依据，而非编造看似合理的步骤来掩盖捷径。

对AI推理研究的启示

CRoS的意义不仅在于提出了一种新的奖励信号，更在于它揭示了因果性度量设计中的一个关键陷阱：扰动方式本身可能引入混杂因素。通过精心设计扰动（如乱序），可以更纯粹地衡量因果性。这一思路可能启发更多关于推理过程评估的研究。

此外，CRoS在CoT忠实度上的提升表明，正确的因果性奖励可以鼓励模型生成更诚实、更可解释的推理链。这对于构建可信赖的AI系统至关重要，尤其是在高风险领域。

当然，CRoS也有其局限性。乱序扰动可能不适用于所有类型的推理任务，例如那些步骤顺序本身不重要的任务。未来研究可以探索更通用的扰动策略，并结合多种因果性度量来进一步提升推理质量。

结论

CRoS通过乱序扰动CoT来测量因果性，避免了信息变化的混杂效应，从而提供了更干净的奖励信号。实验证明，CRoS在准确率、CoT质量和忠实度上均优于现有方法。这一工作为RLVR中的奖励设计提供了新视角，强调了因果性度量中扰动设计的重要性。随着语言模型推理能力的不断提升，如何确保推理的忠实性和可靠性将越来越重要，CRoS为此迈出了坚实的一步。