DecisionRank：在线策略蒸馏如何重塑决策模型重排序

决策模型通过直接预测选择或分数来处理结构化任务，避免了自回归解码的延迟。但将生成式LLM的排序知识迁移到决策模型并不容易：教师模型通过文档ID序列的排序列表表达偏好，而学生模型则基于首token位置的分数确定排名。这种表达形式的差异，使得知识蒸馏面临挑战。近期提出的DecisionRank通过物品空间在线策略蒸馏（On-Policy Distillation, OPD） 来弥合这一鸿沟，并在多个检索基准上取得了领先效果。

核心问题：教师与学生的表达鸿沟

生成式LLM在排序任务中通常以列表形式输出文档ID序列，隐式地表达偏好顺序。而决策模型为了追求低延迟，直接对每个文档打分，取首token位置的分数作为排序依据。两者虽然都完成排序，但输出空间不同——一个是序列，一个是分数。传统的蒸馏方法难以直接对齐这两种表示，导致学生模型无法充分吸收教师的排序知识。

DecisionRank的出发点正是解决这一不匹配问题。它不要求学生模型模仿教师的序列输出，而是通过物品空间的在线策略蒸馏，让学生在自身的分数空间中接受教师的直接指导。

自回归解码指生成式模型逐token顺序生成输出的过程，每个新token都依赖于之前已生成的token。在排序任务中，教师模型需依次生成文档ID序列，导致推理延迟随列表长度线性增长。而决策模型（如基于BERT的交叉编码器）则通过一次前向传播为每个文档独立打分，无序列依赖，因而延迟极低。这种解码方式的差异是两者输出空间不同的根本原因之一，也是决策模型在工业检索系统中备受青睐的关键。

物品空间OPD：用排序列表作为桥梁

物品空间OPD的核心设计是：将学生模型输出的文档分数排序成一个 ranked sequence（排序列表），然后将这个列表作为输入喂给生成式教师模型。教师模型基于该列表提供条件反馈，直接监督学生模型的分数。这样，教师的排序知识通过学生自己产生的排序列表传递回来，形成闭环。

具体来说，学生模型先对一组文档打分并排序，教师模型看到这个排序后，判断哪些位置需要调整，并给出针对分数的监督信号。由于教师看到的是学生当前的排序状态，反馈是条件化的、针对性的，这比离线蒸馏中使用固定教师排序更有效。结合离线排序监督，DecisionRank在训练中同时利用静态数据和动态反馈，提升了泛化能力。

在线策略蒸馏（On-Policy Distillation, OPD） 源自强化学习中的on-policy学习思想：学生模型在训练过程中基于当前策略生成样本（此处为文档排序列表），教师模型对这些自生成样本提供反馈。与离线蒸馏使用固定教师生成的数据不同，OPD中学生探索自身策略空间，教师纠正其错误，从而缓解训练与推理分布不一致的问题。该方法最早在序列生成任务中应用，DecisionRank将其适配到物品空间，以排序列表为中间表示，使教师能条件化地评估学生输出。

实验结果：小模型超越大教师

据论文披露，DecisionRank在通用和推理密集型检索基准上均达到了 state-of-the-art 性能，包括 TREC DL、BEIR 和 BRIGHT。在四个基准上，物品空间OPD consistently 优于其他训练目标。

尤为突出的是参数效率：1.7B参数的DecisionRank在TREC DL19–23上超越了其27B的生成式教师。而在8B规模下，它优于生成式listwise对应模型，同时在TREC DL上运行速度快24.5倍，在BRIGHT上快16.7倍。这些数据表明，决策模型结合在线策略蒸馏，能够在保持低延迟的同时，获得甚至超越大模型的排序能力。

TREC DL（Text REtrieval Conference Deep Learning track）是信息检索领域的经典评测，提供大规模文档集合和人工相关性标注，重点评估深度模型在段落级重排序上的表现。BEIR（Benchmarking IR）是一个异质检索基准集合，涵盖多种领域和任务，用于测试模型的零样本泛化能力。BRIGHT 则专注于推理密集型检索，要求模型理解查询中的复杂逻辑。这些基准共同构成了评估排序模型通用性和鲁棒性的标准体系。

为什么在线策略蒸馏更有效？

在线策略蒸馏的优势在于学生模型在训练过程中生成自己的排序，教师针对这些排序提供反馈。这避免了离线蒸馏中教师分布与学生分布不匹配的问题（exposure bias）。学生从自己的错误中学习，教师则提供纠正信号，使得训练更贴近推理时的真实状态。

此外，物品空间的表示将排序问题转化为对文档分数的监督，绕开了序列生成的复杂性。教师模型不需要重新生成整个排序列表，只需对学生给出的列表进行条件评估，计算效率更高。这也解释了为什么8B模型能获得数十倍的推理加速——决策模型本身没有自回归解码开销，而蒸馏过程只在训练时发生。

暴露偏差（Exposure Bias） 指序列生成模型在训练时使用真实前缀（teacher forcing），而推理时却依赖自身生成的前缀，导致错误累积。离线蒸馏中，学生模仿固定的教师排序列表，但推理时面对自身分布产生的排序，容易因分布偏移而性能下降。在线策略蒸馏让学生从自身生成的排序中学习，教师针对这些实时状态提供纠正信号，使训练分布更贴近推理分布，从而有效缓解暴露偏差。

对检索系统实践的启示

DecisionRank的思路对实际检索系统有几点启发。首先，重排序阶段不必依赖庞大的生成式模型，小尺寸决策模型经过恰当蒸馏即可达到更好效果。其次，在线策略蒸馏可以作为一种通用的训练范式，用于其他结构化预测任务，如推荐、问答对排序等。最后，物品空间的桥梁设计提示我们，当教师和学生的输出形式不一致时，可以寻找一个中间表示（如排序列表）来对齐，而不是强行统一输出空间。

论文没有透露更多关于训练数据规模或具体超参数的细节，但已展示的结果足以说明该方法的潜力。对于关注检索效率与效果的团队，DecisionRank提供了一条值得追踪的技术路线。