推测解码
由Google DeepMind于2023年正式提出的LLM推理加速技术，利用小模型快速生成草稿token后由大模型并行验证，可显著降低推理延迟和成本
核心事实
时间轴 (近 90 天)
推理平台的关键技术包括连续批处理（continuous batching）、KV缓存管理、量化与推测解码等。
KL自蒸馏信号有助于提升推测解码的接受率。
TextSeal2在草稿竞争的剩余量上再运行一次带密钥的指数竞争，利用指数分布的无记忆性复现块验证行为，使输出严格遵循目标模型分布。
在推测解码下，TextSeal2被拒绝草稿的替换token仍使用相同密钥保持水印，且接受率不变。
在循环Transformer上，推测解码的验证过程需要全深度计算，且候选生成与验证之间存在严格的顺序依赖，导致并行优势被削弱。
dSpark 推测解码给草拟器加了“置信头”，提前截断低置信候选，在不掉准确率的前提下提升集群速度 4% 到 7%。
要让推测解码生效，draft 与 target 必须在词表和输出空间上对齐，因此 draft 模型往往需要复用 target 的输出头或自带匹配的 output head。
推测解码的验证阶段可以批量化执行，整体吞吐通常能提升 1.5–3 倍，且理论上与原模型贪婪/采样结果等价。
据 DeepSeek 数据，推测解码中的置信调度带来约 6% 的吞吐提升。
推测解码中草稿并非提得越多越好，若后续草稿经常通不过，生成和验证都会白花算力。
还有 37 条时间轴事件
全部知识事实 (20)
MTP（Multi-Token Prediction）辅助训练目标让模型在推理时可配合投机解码提升吞吐量
90%已验证投机解码用一个小型快速的草稿模型先行预测多个token，再由大模型一次性并行验证
90%已验证接受率越高意味着草稿模型猜测越准，大模型返工次数越少，直接决定投机解码的实际加速效果
85%已验证投机解码实际应用中通常能带来2-3倍的加速效果
80%已验证推测解码通过轻量级草稿模型生成候选 token，主模型一次前向传播并行验证，接受符合分布的 token 并从第一个被拒绝处重新生成
75%已验证模型量化、推测解码、连续批处理是用于降低推理延迟的软件技术
75%已验证速度提升与价格下降同时发生通常指向底层推理架构优化，可能路径包括模型蒸馏、量化、推测解码和流式处理架构
75%已验证推测解码是一种不改变模型输出分布的无损加速技术，使用参数量远小于目标模型的草稿模型生成候选token，再让目标模型并行验证
75%已验证推测解码由 Google DeepMind 于 2023 年正式提出，整体吞吐量可提升 2–3 倍，且输出质量与原始大模型完全等价
75%已验证与投机解码相比，MTP 的预测能力内置于模型本身，无需额外的草稿模型
65%已验证推测解码将草稿模型生成的候选序列整体提交给目标模型进行一次性批量验证，只需一次前向传播即可判断每个候选token是否正确
65%已验证推测解码由Google在2023年正式提出，用参数量为目标模型1/10到1/50的草稿模型一次生成多个候选token再由大模型并行验证
65%已验证推测解码技术用小型本地模型快速生成草稿token，再由云端大模型进行验证和修正
65%已验证多Token预测与投机解码结合可在不损失生成质量的情况下实现2-4倍的推理速度提升
65%已验证推测解码（Speculative Decoding）是目前最主流的大模型推理加速路径之一，使用小型草稿模型快速生成候选token再由主模型并行验证
65%待验证推测解码、模型蒸馏、KV Cache优化等推理优化技术的持续进步正在使单位推理成本快速下降
85%待验证推测解码技术已被Google、Meta等公司广泛应用于生产环境
80%待验证投机解码是一种无损的LLM推理加速技术，由Leviathan等人于2023年正式提出
70%待验证传统推测解码的验证过程对草稿提出的token以min(1, p(x)/q(x))的概率接受，被拒绝则从修正分布norm(max(0, p(x)-q(x)))重新采样，可证明产生的token分布与直接从目标模型采样完全一致（lossless）
70%待验证据 DeepSeek 数据，推测解码中的置信调度带来约 6% 的吞吐提升。
60%