删除不到0.05%权重，竟媲美全量微调？

大模型后训练一定要更新大量参数吗？一项新研究给出了反直觉的答案：只需将极少数权重置零，就能达到全量微调的效果。这种方法名为 Deletion Tuning，它通过学习一个二值掩码来“删除”注意力门投影中的部分权重，不仅性能媲美全量微调，还大幅降低了存储开销和灾难性遗忘。

核心发现：不到0.05%的权重就够了

研究团队发现，在三种主流的后训练范式——带可验证奖励的强化学习（RLVR）、监督微调（SFT）和同策略蒸馏（on-policy distillation）中，将预训练模型中不到 0.05% 的权重置零，且不做其他任何修改，就能在规模上匹配全量微调（FFT）的表现。

这一发现挑战了“后训练必须调整大量参数”的固有认知。传统全量微调会更新模型的所有参数，而参数高效微调方法（如 LoRA）则通过低秩适配器来减少可训练参数。Deletion Tuning 走了一条更极端的路线：它不添加新参数，也不大幅修改权重值，而是直接“删除”极少数连接。

具体来说，该方法在 Transformer 块的门投影（gate projection）上学习一个二值掩码，决定哪些权重被置零。掩码本身是二值的，训练过程可以理解为寻找一组最不影响当前任务性能的权重进行删除。

后训练范式指模型在预训练完成后、面向特定任务或对齐目标进行的进一步训练。文中提到的三种范式各有侧重：RLVR（带可验证奖励的强化学习）利用可自动判定的正确答案（如数学题、代码测试）作为奖励信号，引导模型提升推理能力；SFT（监督微调）在人工标注的输入-输出对上进行标准的最大似然训练，是最常见的对齐手段；同策略蒸馏（on-policy distillation）则由学生模型自行生成样本、再由教师模型对这些样本给出监督信号，兼顾了探索与知识迁移。三者的共同点是都需要调整模型参数，而 Deletion Tuning 表明这一“调整”可以被极稀疏的删除操作所替代。

两大实用优势：存储与抗遗忘

Deletion Tuning 带来的第一个直接好处是存储效率。训练得到的掩码比对应的全量微调检查点小几百到几千倍。这意味着在部署多个任务适配版本时，存储成本可以大幅降低，模型切换也更为轻量。

第二个优势在持续学习场景中尤为关键：Deletion Tuning 的遗忘程度远低于其他方法。在强化学习后训练中，它的先前任务准确率几乎保持在基座水平，而全量微调、LoRA 和随机稀疏微调则最多损失 5.4 个百分点。

这一结果直指持续学习的核心难题——如何在学习新能力的同时不破坏旧知识。传统的全量微调和 LoRA 都会在一定程度上覆盖原有权重，导致旧任务性能下降；而 Deletion Tuning 因为只删除了极少量权重，对原模型的影响被限制在很小的范围内。

灾难性遗忘（catastrophic forgetting）指神经网络在学习新任务时，参数更新会覆盖此前任务所依赖的权重配置，导致旧任务性能急剧下降。在持续学习或多任务部署场景中，这一问题尤为突出：模型每适配一个新任务，就可能牺牲此前积累的能力。缓解遗忘的常见思路包括正则化约束（限制重要权重的变动）、经验回放（混入旧任务数据）以及参数隔离（为不同任务分配独立模块）。Deletion Tuning 的思路接近参数隔离的极端形式——由于只置零极少量权重，基座模型的绝大部分表示被完整保留，旧任务性能自然得以维持。

为什么“删除”有效？几何分析揭示原因

掩码操作看似简单，但为何足以替代全量微调？研究团队从权重变化的几何性质入手，使用稳定秩（stable rank）、谱漂移（spectrum drift）和主权重重叠（principal-weight overlap）三个指标进行分析。

结果显示，在强化学习后训练中，Deletion Tuning 学习到的权重变化在三个指标上都最接近全量微调，而 LoRA 和随机稀疏微调则偏离更远。这说明，尽管 Deletion Tuning 只修改了极少数权重，但它对模型表示的影响方向与全量微调高度一致——删除那些不重要的连接，反而让模型更接近全量微调的解。

这一分析也为理解稀疏微调提供了新视角：稀疏性本身不是关键，关键在于选择删除哪些权重。随机稀疏微调的表现明显不如 Deletion Tuning，说明掩码的学习过程起到了决定性作用。

稳定秩（stable rank）是矩阵秩的一种平滑替代，定义为 Frobenius 范数平方与谱范数平方之比，数值越小说明矩阵的能量越集中于少数奇异值方向。谱漂移衡量微调前后权重矩阵奇异值谱的变化程度，漂移越小说明微调的“扰动方向”越温和。主权重重叠则度量微调后权重的主奇异向量与原始权重主奇异向量之间的对齐程度，重叠高意味着模型保留了原有的主导表示方向。三者共同刻画了微调对模型表示的几何影响：全量微调虽然改动参数多，但其变化方向往往高度结构化，Deletion Tuning 恰恰复现了这种结构化方向，而低秩适配或随机稀疏则偏离更远。

对后训练实践的启示

Deletion Tuning 的出现为后训练提供了一条新思路：与其调整大量参数，不如精准地删除少量权重。这种方法在存储效率、抗遗忘和性能表现上取得了不错的平衡，尤其适合需要频繁切换任务或持续学习的场景。

当然，该方法目前仍处于研究阶段，其在不同模型架构和任务类型上的通用性还有待进一步验证。但至少它提示我们，大模型的后训练未必需要“大动干戈”，有时候做减法比做加法更有效。