MTP
一种推理加速技术，在一次前向传播中同时预测多个未来Token，通过验证机制确认接受哪些预测，大幅提升Token生成速度，与Speculative Decoding理念相近
核心事实
时间轴 (近 90 天)
MTP与投机解码（speculative decoding）机制不同：前者是同一模型内部加入多token预测头，后者是用小草稿模型猜、大模型验证。
利用语音量化释放出的空间，开发者将上下文从32K提升到100K，并放入了MTP（加速工具调用预测）和视觉编码器。
对于只需要开头一段、不等整段写完的场景，应关闭MTP，因为多等6秒是纯亏。
MTP的收益高度依赖场景：输入越短，预填充越轻，解码占比越高，MTP省下的解码时间越显眼；输入越长，预填充越重，MTP的额外开销越容易被放大。
MTP通过同时优化解码阶段（一次猜多个词，减少前向次数）并改变预填充与解码的衔接方式来实现加速；长文档场景首字延迟变长是因为预填充阶段需要额外处理猜测逻辑。
MTP不是外挂插件或需要额外调参的开关，而是通过模型文件名是否包含“MTP”三个字母来区分是否启用。
在短问答测试（输入400字加一个小问题）中，带MTP的版本首字延迟从5.9秒降至4.3秒，出字速度从57.98字/秒提升至66.14字/秒（快约14%），整段答完时间从85.9秒缩短至62.3秒（快27%）。
对于追求整段速度的场景（如短问答、写作、代码补全），应启用MTP，因为短问答快27%，长文档快15%。
目前公开的实测数据中，EAGLE、块扩散或MTP等草稿器在开放域散文、贪心解码下的接受率大多集中在2.5-2.6区间，尚未见到稳定突破3.5的报告。
有用户报告使用MTP（Multi-Token Prediction）方法时散文接受率为2.62。
还有 40 条时间轴事件
全部知识事实 (20)
MTP（Multi-Token Prediction）辅助训练目标让模型在推理时可配合投机解码提升吞吐量
90%已验证投机解码用一个小型快速的草稿模型先行预测多个token，再由大模型一次性并行验证
90%已验证MTP 是一种让模型在单次前向传播中预测多个后续 token 的技术，能减少推理计算轮次
85%已验证多 Token 预测（MTP）是 Meta 在 2024 年提出的训练与推理加速技术，并在 DeepSeek-V3 等模型中应用
85%已验证MTP通过在模型输出层增加多个预测头，使模型在一次前向传播中同时预测未来N个token的概率分布，可在不损失生成质量的前提下实现2-4倍推理加速
80%已验证MTP 带来的实际加速效果取决于预测的接受率，若预测频繁出错则需回退到逐 token 解码，加速收益会大幅缩水
75%已验证DeepSeek的MTP基础版本草稿模型在主模型训练时协同优化，使草稿模型输出分布对齐目标模型，区别于事后蒸馏方案
75%已验证DeepSeek早在V3版本就引入了MTP技术
75%已验证与投机解码相比，MTP 的预测能力内置于模型本身，无需额外的草稿模型
65%已验证MTP（Multi-Token Prediction，多令牌预测）是一个在大多数主流推理工具中默认关闭的配置标志，可加速推理
65%已验证MTP（多Token预测）技术由Meta在2024年的研究中系统提出，并被Qwen、DeepSeek等主流开源模型采用
65%待验证MTP一次前向传播可同时产出多个token：主头输出token+1，第一个MTP头输出token+2，第二个MTP头输出token+3
90%待验证MTP的额外预测头直接复用Transformer的隐藏状态表示，因此额外的计算开销极小
90%待验证MTP（多令牌预测）最初由Meta在研究论文《Better & Faster Large Language Models via Multi-token Prediction》中系统提出
85%待验证MTP与DFlash在架构上有本质不同，但都属于投机解码技术谱系
85%待验证加载MTP层后额外浮点运算会导致数值产生微小变化，可能导致模型走不同推理路径产生不同结果，即使温度设为0也会出现
85%待验证Google在Gemma 4中实际应用了MTP技术
80%待验证Meta在LLaMA 3的技术报告中首次将MTP作为训练目标引入
80%待验证MTP和Speculative Decoding两项技术理论上可以叠加使用
75%待验证通过 MTP（多令牌预测）技术，Qwen3.8-Flash-Next 和 GLM-5.3-Flash 的推理速度提升最高达 2 倍
70%