概念noise residual
噪声残差
噪声残差是MTP梯度中与KL自蒸馏信号正交的剩余部分，不对应有益学习目标，会干扰标准下一Token预测损失，可能源于多步预测的累积误差和梯度冲突。
时间轴 (近 90 天)
10月30日
标准MTP的梯度中包含两个成分：KL自蒸馏信号和噪声残差。
待验证50%
10月30日
噪声残差会损害下一Token预测（next-token prediction）的性能。
待验证50%
10月30日
Soft-MTP将KL自蒸馏信号与噪声残差解耦，使梯度反向传播时只流经KL自蒸馏部分。
待验证50%