概念
Soft-MTP
一种改进多Token预测（MTP）训练的方法，通过修改隐藏状态的残差连接（h_ntp += h_mtp.detach() - h_mtp）将KL自蒸馏信号与噪声残差解耦，使梯度仅流经有益的KL自蒸馏部分，从而在不增加计算开销的情况下提升跨任务性能。
时间轴 (近 90 天)
10月30日
通过修改隐藏状态的残差连接，使用一行代码 `h_ntp += h_mtp.detach() - h_mtp` 可以实现Soft-MTP。
待验证50%
10月30日
Soft-MTP将KL自蒸馏信号与噪声残差解耦，使梯度反向传播时只流经KL自蒸馏部分。
待验证50%
10月30日
Soft-MTP不增加前向或反向的计算量，不引入新参数，也不改变推理时的模型结构。
待验证50%
10月30日
Soft-MTP在多种任务上均优于标准MTP，但原始素材未披露具体基准测试数据。
待验证50%
10月30日
Soft-MTP的效果依赖于原有MTP头的训练质量，若MTP头欠拟合，可分离出的KL信号有限。
待验证50%
10月30日
研究团队已开源Soft-MTP的代码、论文和HuggingFace模型集合。
待验证50%
全部知识事实 (6)
待验证
通过修改隐藏状态的残差连接，使用一行代码 `h_ntp += h_mtp.detach() - h_mtp` 可以实现Soft-MTP。
50%待验证Soft-MTP将KL自蒸馏信号与噪声残差解耦，使梯度反向传播时只流经KL自蒸馏部分。
50%待验证Soft-MTP不增加前向或反向的计算量，不引入新参数，也不改变推理时的模型结构。
50%待验证Soft-MTP在多种任务上均优于标准MTP，但原始素材未披露具体基准测试数据。
50%待验证Soft-MTP的效果依赖于原有MTP头的训练质量，若MTP头欠拟合，可分离出的KL信号有限。
50%待验证研究团队已开源Soft-MTP的代码、论文和HuggingFace模型集合。
50%