投机自蒸馏：高效知识内化的新范式

语言模型如何高效地内化预训练中未出现的新知识？这是持续学习与领域适应中的核心挑战。自蒸馏提供了一条自然路径：让模型在给定源材料时充当教师，训练一个无条件的“学生”以闭卷方式复现教师的行为。然而，传统的自蒸馏方法在效率与稳定性之间往往难以兼顾。近期提出的投机自蒸馏（Speculative Self-Distillation, SSD）通过一种逐token的混合策略，在减少监督信号的同时保持了接近全策略蒸馏的性能，为知识内化设立了新的帕累托前沿。

自蒸馏的困境：策略偏离与信号稀疏

自蒸馏的核心思想是让模型从自身的“有上下文”版本中学习，从而将外部知识压缩到参数中。常见的做法分为两类：全策略（on-policy）蒸馏和离策略（off-policy）蒸馏。全策略蒸馏中，学生模型自行生成轨迹，教师仅在学生生成的轨迹上提供监督。这种方式使训练分布贴近学生测试时的行为，但容易陷入低信号状态——当学生已经能够正确预测时，教师的监督信号变得微弱，导致训练效率低下。离策略蒸馏则直接使用教师生成的轨迹，但学生被暴露在教师分布下，与自身的测试时行为存在偏差，容易造成遗忘或泛化能力下降。

据论文描述，这两类方法各有短板：全策略蒸馏需要更多的监督token，而离策略蒸馏在持有测试集上表现不稳定。SSD的提出正是为了在这两者之间找到平衡点。

全策略蒸馏（on-policy distillation）与离策略蒸馏（off-policy distillation）的核心区别在于训练轨迹由谁生成。全策略蒸馏中，学生模型在训练时自行生成每个token，教师模型只在这些学生自己产生的轨迹上给出下一token的监督信号。这样，学生测试时看到的数据分布与训练时一致，避免了分布偏移。然而，当学生已经能正确预测时，教师提供的监督信号（如KL散度）会变得非常小，导致梯度微弱，训练效率下降。离策略蒸馏则直接使用教师生成的轨迹，学生被动模仿，虽然信号更强，但学生被暴露在教师分布下，与自身测试时的行为不一致，容易导致遗忘或泛化能力下降。这两种策略的权衡是自蒸馏方法设计的关键难点。

SSD的核心机制：教师仅在分歧处介入

SSD是一种逐token的混合策略方法。默认情况下，学生模型生成每个rollout（即训练轨迹），教师仅在“其下一token分布与学生显著分歧”的位置进行干预。换句话说，当特权上下文（源材料）显著改变预测时，教师才出手引导。

这种设计带来了两个关键优势。第一，训练rollout保持在学生自身的测试时行为附近，避免了离策略方法中分布偏移带来的问题。第二，通过教师定向干预，避免了全策略rollout中容易出现的低信号状态——学生已经掌握的部分不需要额外监督，教师只在真正需要知识注入的位置提供信号。

论文作者将SSD描述为“让教师恰好在特权上下文改变预测的地方引导rollout”。这种精准干预的思路，本质上是对监督信号的按需分配，从而在效率与效果之间取得平衡。

特权上下文（privileged context）在自蒸馏中指的是仅教师可见的额外信息，例如源材料、答案或领域文档。教师模型在生成每个token时，会同时看到特权上下文和已生成的历史；而学生模型（无条件版本）只能看到历史。因此，当特权上下文显著改变教师的下一token分布时，说明该位置是知识注入的关键点。SSD通过比较教师（带特权上下文）和学生（不带）的下一token分布差异，决定是否在该token上采用教师的监督信号。这种逐token的干预机制类似于投机解码（speculative decoding）中的“草稿-验证”思想，但目标不是加速生成，而是精准分配监督信号。

实验验证：更少监督，更强性能

论文在三个闭卷问答基准上评估了SSD，分别衡量事实回忆、知识更新和技能获取。结果显示，SSD几乎匹配全策略蒸馏的性能，同时使用的监督token减少了38%到69%。在持有测试集上，SSD也一致优于离策略蒸馏。

在遗忘压力测试中，SSD在保持通用能力方面表现最佳，同时实现了最高的域内准确率，且监督量低于全策略基线。这表明SSD不仅在效率上占优，在缓解灾难性遗忘方面也有优势。

综合来看，SSD在准确率、效率和遗忘之间建立了新的帕累托前沿。对于需要持续更新知识或学习新领域技能的应用场景，这一方法提供了一种更经济的自蒸馏方案。

闭卷问答（closed-book QA）是指模型在不提供外部文档的情况下，仅依靠参数中存储的知识回答问题。该基准通常分为三类：事实回忆（如问答对）、知识更新（如新近事实）和技能获取（如推理技能）。灾难性遗忘（catastrophic forgetting）指模型在学习新知识时，会覆盖或干扰原有参数中存储的旧知识，导致通用能力下降。SSD在遗忘压力测试中表现最佳，说明其按需监督的策略减少了对原有参数的扰动。帕累托前沿（Pareto frontier）在这里指在准确率、监督token数量和遗忘程度三个维度上，SSD达到了不被其他方法全面超越的最优权衡点。

对知识内化实践的启示

SSD的提出反映了知识内化研究的一个趋势：从粗暴的全量监督转向精细的按需监督。传统方法往往假设教师信号越多越好，但SSD表明，只在关键决策点提供监督反而能获得更好的综合效果。

这一思路对实际应用有直接价值。例如，在需要模型吸收最新事实的场景中，SSD可以减少训练成本，同时降低对模型原有能力的损害。在领域技能学习中，SSD的混合策略也能帮助学生模型更平滑地适应新任务，而不至于偏离原有的行为模式。

当然，SSD的实现依赖于对教师和学生分布分歧的准确判断。如何定义“显著分歧”以及如何高效地计算逐token的分歧，是实际部署时需要关注的工程细节。论文中未详细展开这些细节，但可以推测，这需要额外的计算开销来评估分布差异，不过相比节省的监督token，整体收益仍然可观。

结语

投机自蒸馏为语言模型的知识内化提供了一种高效的新思路。通过逐token的混合策略，SSD在保持学生测试时行为的同时，精准注入教师知识，在多个基准上实现了接近全策略蒸馏的性能，同时大幅减少监督需求。对于追求低成本、高效益知识更新的AI应用而言，SSD值得关注。