概念MTP / 多token预测

Multi-Token Prediction

模型在单次前向传播中预测多个未来 token 的技术，常用于投机解码以加速推理

核心事实

MTP（Multi-Token Prediction，多令牌预测）是一个在大多数主流推理工具中默认关闭的配置标志，可加速推理

10月30日

标准MTP的梯度中包含两个成分：KL自蒸馏信号和噪声残差。

待验证50%

10月30日

Soft-MTP在多种任务上均优于标准MTP，但原始素材未披露具体基准测试数据。

待验证50%

10月30日

MTP已被广泛采用为前沿预训练的标准配方。

待验证50%

9月10日

MTP（Multi-Token Prediction，多令牌预测）是一个在大多数主流推理工具中默认关闭的配置标志，可加速推理

已验证65%

MTP（Multi-Token Prediction，多令牌预测）是一个在大多数主流推理工具中默认关闭的配置标志，可加速推理

标准MTP的梯度中包含两个成分：KL自蒸馏信号和噪声残差。

Soft-MTP在多种任务上均优于标准MTP，但原始素材未披露具体基准测试数据。

MTP已被广泛采用为前沿预训练的标准配方。