GUIDER：攻克临床指南推理的路径-答案鸿沟

临床指南将循证建议编码为条件决策流，这本是训练推理模型的天然过程监督信号，但直接用起来却有两个棘手障碍。最新研究提出了 GUIDER 方法，通过联合优化决策流控制器与推理策略，在多个临床基准上显著超越现有强化学习基线。

临床指南推理的两大难题

临床推理过程监督的核心困难被论文概括为两个概念。

路径-答案鸿沟（path–answer gap）：一条与指南一致的决策流，并不能单凭自身就确定某个具体患者的正确答案。也就是说，遵循了正确的诊疗路径，最终给出的决策未必对。

路径多样性（path multiplicity）：同一个临床决策可以由多条不同的有效决策流支撑。如果只用单条参考流来监督，模型就会被限制在一条轨迹上。

现有的训练方法各自解决了部分问题，但都没能同时处理这两个难题。答案奖励只监督最终决策；过程奖励通常针对单一参考流计算；而对标注流的监督微调虽然能教会模型生成符合指南的推理，却将模型约束在每例一条轨迹上，甚至可能降低答案准确率。

GUIDER 的解法：控制器与策略协同进化

GUIDER 的核心思路是同时训练两个组件。

• 决策流控制器：从指南衍生的监督中学习生成多条合理的决策流，用来应对路径多样性。
• 推理策略：为每个患者病例生成一条决策流以及最终答案。

关键设计在于过程奖励的计算方式。GUIDER 在控制器生成的多条流上评估策略的过程奖励，从而覆盖路径多样性；同时，这个奖励会被答案正确性所门控（gate），以此来弥合路径-答案鸿沟。联合训练让过程监督能够随策略一起演化，而不是固定不变。

过程奖励模型（Process Reward Model, PRM） 是这里的关键背景：与只对最终答案打分的答案奖励（outcome reward）不同，PRM 对推理的中间步骤逐步给出评分，从而缓解奖励稀疏问题。传统 PRM 通常基于人工标注的逐步标签或单条参考轨迹训练，因而在“一题多解”场景下容易误判——把另一条同样合理的路径判为错误。GUIDER 在控制器采样的多条流上计算过程奖励，本质上是对 PRM 的监督信号做了多轨迹扩展，并将最终答案正确性作为门控权重，使过程奖励既覆盖多样性又不偏离目标答案。

协同进化（co-evolution）与在线策略强化学习：GUIDER 的联合训练属于在线策略优化范式——策略与环境（此处为控制器生成的决策流分布）持续交互，过程奖励随策略更新而重新计算，而非固定在静态数据集上。这与离线过程监督微调（SFT on annotated flows）形成对比：后者在训练开始前就冻结了监督信号，策略一旦偏离参考流便得不到有效反馈。协同进化让控制器作为“动态出题者”不断生成新的合理路径，避免策略过拟合到有限轨迹，也解释了为何过程监督能够随策略一同演化。

实验结果：加权准确率与指南依从性双提升

在 MedGUIDE 基准上，使用 Qwen3-14B 骨干的 GUIDER 取得了 82.5 的加权准确率和 73.5 的指南依从性，分别比最强的临床强化学习基线高出 3.3 和 3.1 个点。

跨骨干和跨域的泛化能力同样得到验证：在 Qwen3-14B 和 Gemma4-12B 两个骨干上，GUIDER 在域外基准 AMEGA-LLM、RealMedQA 和 CancerGUIDE 上也优于 CRPO、MRPO 和 FaithMed。

加权准确率与指南依从性是 MedGUIDE 基准的两个核心指标。加权准确率通常在病例难度或类别不均衡的情况下对答案正确率做加权平均，避免简单病例主导整体分数；指南依从性则衡量模型生成的推理步骤与临床指南决策流的吻合程度，可由人工或规则/模型判定。两者分别对应“答案对不对”和“过程合不合规”，正是路径-答案鸿沟的两个侧面。GUIDER 同时提升这两项指标，说明其并非以牺牲一方换取另一方，而是缓解了两者之间的张力。

为什么这条路线值得关注

临床推理模型的一个长期矛盾是：越强调过程符合指南，越可能牺牲最终答案的准确性。GUIDER 用「多流采样 + 答案门控」的组合，把过程监督从单条轨迹的束缚中解放出来，同时不让过程奖励脱离正确答案。这种思路对其他需要过程监督的领域——比如多步工具调用、复杂规划任务——也有借鉴价值。

论文同时提示了一个更普遍的问题：当参考过程本身不能唯一决定结果时，如何设计过程奖励？临床指南只是这个问题的典型场景，而非孤例。