对齐税是分级的：DPO训练下任务选择性能力损失

偏好对齐是否必然以牺牲下游能力为代价？一项针对Qwen3.5-4B的实证研究给出了更精细的答案：对齐税并非均匀分布，而是呈现显著的任务选择性——结构化抽取任务几乎不受影响，JSON生成小幅下降，而路由任务则出现严重退化。这一发现挑战了「对齐必然全局降智」的简单叙事，也为工程实践中的任务优先级取舍提供了量化依据。

实验设置：长度归一化DPO与SFT保留项

研究采用稀疏LoRA对Qwen3.5-4B进行微调，目标函数为长度归一化的DPO加上一个SFT保留项（即RPO目标），训练数据为结构化财务申报任务。整个过程中，研究者追踪隐式奖励边际（implicit reward margin）增长至约7个β缩放单位时的下游能力变化。需要说明的是，这是在nf4量化训练下测得的数值；在未量化基座上以fp16测量时，该边际约为3。

这是一个预注册研究，使用8个随机种子，其中6个在冻结时属于未见过的种子，并采用artifact-aware评分与TOST等价性检验。研究定位为实证刻画，不提出新方法，也不与其他目标函数做对比。

DPO与隐式奖励边际

直接偏好优化（Direct Preference Optimization, DPO）是一种无需显式奖励模型的偏好对齐方法，它通过重参数化将奖励函数表达为策略模型与参考模型的对数概率比，从而直接以偏好数据优化策略。其核心是隐式奖励：对于完成 (y)，隐式奖励为 (\beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)})，其中 (\beta) 控制偏离参考模型的惩罚强度。隐式奖励边际（implicit reward margin）即被选择完成与拒绝完成的隐式奖励之差，它衡量模型在多大程度上偏好人类偏好的输出，是监控对齐训练进程的关键标量。长度归一化则是将序列级对数概率除以 token 数，避免 DPO 偏好更短或更长输出的长度偏差。

RPO与SFT保留项

RPO（Reference Policy Optimization，或在此语境下指带 SFT 保留项的目标）在 DPO 基础上增加一个监督微调项，对「选择完成」保持较高的对数概率，相当于用参考策略锚定正确输出的概率质量。这一保留项的作用是防止偏好优化过度压低所有输出的概率，从而缓解对齐税。研究中观察到的选择奖励基本平坦、边际增长主要来自拒绝样本抑制，正是该锚定项生效的直接证据。

核心发现：三档任务的分化表现

对齐税的分级特征在三个结构化任务上表现得相当清晰。

抽取任务（extraction）几乎无损失。 性能变化为-0.55个百分点，在±5个百分点的等价区间内通过了等价性检验。这意味着从统计上看，抽取能力在边际增长过程中基本保持不变。

JSON任务小幅退化。 性能下降3.52个百分点，但在聚类后的条目级区间上未能通过等价性检验。换句话说，损失虽小却真实存在，且统计上不可忽略。

路由任务严重受损。 性能骤降30个百分点，是三者中唯一出现数量级意义上退化的任务。

这种分化说明，对齐过程对能力的侵蚀并非「一刀切」，而是与任务本身的特性密切相关。抽取任务依赖的是对输入文本的忠实定位，而路由任务需要在多个选项间做出判别性决策，后者显然更容易受到偏好优化的冲击。

TOST等价性检验

两单侧检验（Two One-Sided Tests, TOST）是用于验证「等价」而非「无差异」的统计方法。传统假设检验若未能拒绝零假设，只能说明证据不足，不能断言效应为零；TOST 则预先设定一个等价区间 ([-\Delta, +\Delta])，并同时检验效应是否显著大于 (-\Delta) 且显著小于 (+\Delta)。若两个单侧检验均通过，则可宣称在给定置信水平下效应落在等价区间内。本文对抽取任务设置 ±5 个百分点的等价区间并通过 TOST，意味着有统计依据认为其性能变化可视为实践上的零损失；而 JSON 任务虽仅下降 3.52 个百分点，却未通过等价性检验，说明该损失在统计上不可忽略。

路由损失的集中窗口与格式断裂

路由任务的退化并非随边际增长线性发生，而是集中在一个特定区间：边际1到3之间的「损伤窗口」。在这个窗口内，研究者观察到一个短暂的格式断裂尖峰（transient format-break spike）。这提示能力损伤可能存在阶段性——在边际较低时，模型尚未充分内化偏好信号，输出格式反而出现临时性崩溃；随着边际继续增长，格式恢复但判别能力已被实质性削弱。

这一发现对训练监控有直接意义：仅看最终检查点可能错过中间阶段的异常，而损伤窗口的存在意味着早停策略或边际阈值设定需要更细致的考量。

格式断裂尖峰与损失窗口

格式断裂尖峰指模型在训练中间阶段短暂地无法生成符合预定结构（如 JSON 或路由标签格式）的输出，表现为解析失败率骤升，随后又自行恢复。这类现象在偏好优化中并不罕见：当隐式奖励边际处于较低区间时，模型刚开始调整输出分布，拒绝样本被抑制的同时可能连带压低结构标记的概率，导致格式崩溃；随着训练继续，模型重新分配到足够概率质量给格式 token，表面恢复。但此时判别性内容可能已被侵蚀，因此最终检查点看似正常，实际路由准确率已大幅下降。这解释了为何损伤集中在边际 1 到 3 的窗口，并提示监控应覆盖训练轨迹而非仅终点。

边际增长的来源：拒绝样本抑制而非选择样本提升

一个关键的机制性发现是，奖励边际的增长几乎完全（≥96%）来自对被拒绝完成（rejected completions）的抑制，而选择完成（chosen）的奖励大致保持平坦。这与SFT保留项锚定选择奖励的预期一致。

研究者谨慎地指出，他们不将行为损伤归因于任何单一的梯度通道。这一表述很重要——它避免了过度简化，也暗示对齐税的产生可能涉及多个因素的耦合，而非某个可单独定位的机制。

金标准对数概率的通缩也是任务选择性的

研究进一步测量了金标准完成的对数概率（gold-logp）变化，同样呈现任务分化：抽取任务为-0.15，JSON为-1.04，路由为-1.47（单位均为nats/token，fp16下测量）。路由任务的金标准概率下降最严重，与其性能退化幅度相呼应。

更有意思的是，在抽取任务上，金标准相对于错误对照受到了选择性保护，这一现象在全部8个种子中一致出现（8/8）。这说明保留项的作用并非均匀地维持所有输出分布，而是有差别地保护了正确答案的概率质量。

量化训练与测量之间的边际差距

研究还揭示了一个工程上值得警惕的现象：QLoRA奖励边际在nf4训练与未量化fp16测量之间存在最高达3.4倍的差异，且差距依赖于测量轴。这意味着在量化环境下观察到的边际数值，不能直接外推到全精度部署场景。对于依赖边际阈值做训练决策的实践者，这是一个需要纳入考量的系统性偏差。

QLoRA 与 nf4 量化

QLoRA 是一种参数高效微调技术，它将基座模型权重量化为 4 比特的 nf4（NormalFloat 4）格式，并在前向传播中动态反量化以进行低秩适配器训练，从而大幅降低显存占用。nf4 是一种针对正态分布权重设计的信息论最优 4 比特数据类型，能在极低精度下保留较多信息。然而，量化会引入数值误差，尤其影响对数概率这类对精度敏感的标量。本文发现 nf4 训练环境下测得的奖励边际可比 fp16 全精度测量高出最多 3.4 倍，且差异随测量轴变化。这意味着在量化环境中依据边际阈值做早停或超参选择，可能系统性地偏离全精度部署时的真实行为，工程上需以目标部署精度为准进行校准。

研究边界与待解问题

作者明确列出了适用范围：长度归一化奖励加SFT保留项、8/32层的稀疏LoRA、单一4B模型、易于分离的合成偏好数据、三个结构化任务。无保留项的对照组以及格式对齐的量化指标被留作未来工作。

这些边界意味着结论的可推广性仍需验证。真实场景中的偏好数据往往噪声更大、任务边界更模糊，对齐税的分级模式是否会以同样形态出现，目前尚无答案。但至少在这组受控条件下，「对齐税是分级的」这一核心结论得到了多任务、多指标、预注册设计的交叉支撑，为后续研究提供了一个可复现的基准点。

对于实际部署而言，这项研究传递的信号是务实的：在资源有限时，可以优先对齐那些对偏好优化更鲁棒的任务，而对路由类判别任务投入更多监控与保护措施。对齐不是免费的午餐，但账单的分配方式比想象中更有结构。