Speculative Decoding
一种大模型推理加速技术，通过小模型提前预测多个Token，再由主模型批量验证，从而提升推理速度
核心事实
时间轴 (近 90 天)
DeepSeek-Infer采用了投机解码（Speculative Decoding）技术。
投机解码的核心思路是“小模型草拟、大模型验证”。
SpecAgent 借鉴推测式解码思想但做了三点改造：草稿粒度从 token 提升到完整工具调用动作；验证从字符串层面提升到语义层面的轨迹合法性判断；加入修复环节对第一个被拒绝的步骤给出替代动作。
推测式解码（Speculative Decoding）最初由 Leviathan 等人于 2022 年提出，其核心思想是让轻量草稿模型快速自回归生成候选 token，再由目标大模型在一次前向传播中并行验证这些候选 token 是否被接受。
传统投机解码通过拒绝采样或修正采样，根据草稿与目标模型概率的比值决定是否接受草稿 token，并在拒绝时从修正后的分布中重新采样，以保证输出分布无损。
投机解码的本质是用小代价预测多个token再由主模型批量验证，命中率越高每步验证产出的有效token越多
推测解码通过小型草稿模型快速生成候选token再由主模型并行验证，通常可实现2-4倍加速，且输出结果与不使用时在数学上完全等价无精度损失
投机解码（Speculative Decoding）用一个更小的草稿模型快速猜测后续 token，再由主模型批量验证，可显著提升整体吞吐量；MTP 是其一种实现变体，Qwen 等模型原生支持
与投机解码相比，MTP 的预测能力内置于模型本身，无需额外的草稿模型
根据英伟达官方测试，Qwen3 27B在Jetson上的最优解码组合是NVFP4量化叠加投机解码
还有 33 条时间轴事件
全部知识事实 (20)
MTP（Multi-Token Prediction）辅助训练目标让模型在推理时可配合投机解码提升吞吐量
90%已验证投机解码用一个小型快速的草稿模型先行预测多个token，再由大模型一次性并行验证
90%已验证推测解码（Speculative Decoding）范式由Google Brain和DeepMind团队于2023年几乎同期提出
90%已验证接受率越高意味着草稿模型猜测越准，大模型返工次数越少，直接决定投机解码的实际加速效果
85%已验证投机解码通过拒绝采样协议保证最终输出分布与纯主模型生成完全一致
80%已验证MTP 是一种让模型在单次前向传播中预测多个后续 token 的技术，能减少推理计算轮次
80%已验证验证编码模型的可操作方法是选一个带测试的真实修复任务，固定仓库版本和工具权限，让候选模型完成同一任务并对比首次通过率、补丁可读性、单次成本和人工接管次数
75%已验证流式推理涉及投机解码和连续批处理等推理优化技术
75%已验证大模型从平台语境主动推断设计规范的能力在技术上属于上下文推理（Contextual Reasoning），不依赖硬编码规则而是从海量数据中内化行业常识
75%已验证INT8量化、通道剪枝等模型压缩技术可在精度损失低于1% mAP的前提下将推理速度提升2-4倍
70%已验证投机解码（Speculative Decoding）技术相比逐Token串行生成可带来3-5倍的速度提升
70%已验证Speculative Decoding在草稿模型预测准确率达到60-80%时，整体推理速度可提升2-3倍
70%已验证与投机解码相比，MTP 的预测能力内置于模型本身，无需额外的草稿模型
65%已验证Flash系列通过MoE架构、推测性解码等技术，在每次推理时只激活部分参数以降低计算量
65%已验证多Token预测与投机解码结合可在不损失生成质量的情况下实现2-4倍的推理速度提升
65%已验证推测解码（Speculative Decoding）是目前最主流的大模型推理加速路径之一，使用小型草稿模型快速生成候选token再由主模型并行验证
65%待验证MTP与DFlash在架构上有本质不同，但都属于投机解码技术谱系
85%待验证MTP和Speculative Decoding两项技术理论上可以叠加使用
75%待验证投机解码是一种无损的LLM推理加速技术，由Leviathan等人于2023年正式提出
70%待验证传统推测解码的验证过程对草稿提出的token以min(1, p(x)/q(x))的概率接受，被拒绝则从修正分布norm(max(0, p(x)-q(x)))重新采样，可证明产生的token分布与直接从目标模型采样完全一致（lossless）
70%