投机解码
由Google Brain团队于2023年正式提出的LLM推理加速技术，通过引入小型草稿模型快速生成候选Token序列，再由主模型并行验证，理论上可将生成速度提升2-4倍
核心事实
时间轴 (近 90 天)
扩散草稿模型能在单次前向中并行去噪多个草稿 token，是加速投机解码的重要路线。
传统扩散起草器在投机解码中，块与块之间的生成必须等待目标模型回传隐状态，导致起草与验证只能串行执行。
D3D 是复旦大学生成视觉团队提出的投机解码方法，通过解耦起草器与目标模型隐状态的依赖来加速大模型推理。
投机解码的加速上限受制于两点：起草成本需远低于目标模型单次前向，以及接受长度需足够长。
Strata 使用模型自带的 MTP 多词预测层进行投机解码，以批量访存摊薄成本。
开源推理框架的核心优化手段包括PagedAttention显存管理、连续批处理、投机解码以及算子融合等。
在无损投机采样下，草稿token被接受的概率等于1减去目标分布与草稿分布之间的全变差（TV）距离。
块验证是投机解码的一种变体，指草稿模型一次性生成一个固定长度的token块，目标模型对该块内所有token并行计算概率并进行验证与拒绝采样。
对五个投机解码基线的分析发现：聚合接受率可能随上下文长度上升，但在匹配的晚期浏览动作中，接受率实际上在下降。
MTP对投机解码有直接帮助，因为模型能一次性生成多个候选token。
还有 40 条时间轴事件
全部知识事实 (20)
投机解码用一个小型快速的草稿模型先行预测多个token，再由大模型一次性并行验证
90%已验证接受率越高意味着草稿模型猜测越准，大模型返工次数越少，直接决定投机解码的实际加速效果
85%已验证MTP 是一种让模型在单次前向传播中预测多个后续 token 的技术，能减少推理计算轮次
85%已验证NVIDIA的TensorRT-LLM针对其硬件架构深度优化推理速度
85%已验证投机解码实际应用中通常能带来2-3倍的加速效果
80%已验证推测解码通过轻量级草稿模型生成候选 token，主模型一次前向传播并行验证，接受符合分布的 token 并从第一个被拒绝处重新生成
75%已验证推理吞吐量优化依赖KV Cache管理、连续批处理（Continuous Batching）等技术，直接决定并发用户规模下的响应速度与服务成本
75%已验证推测解码是一种不改变模型输出分布的无损加速技术，使用参数量远小于目标模型的草稿模型生成候选token，再让目标模型并行验证
75%已验证推理优化是降低AI单位使用成本的核心技术方向，常见手段包括模型量化（用INT8/FP8等更低精度表示权重以减少显存占用和计算量）、知识蒸馏（用大模型指导小模型）、KV缓存复用与批处理（合并请求提升GPU利用率）、投机解码（用小模型草拟、大模型校验以加速生成）。
65%已验证推测解码将草稿模型生成的候选序列整体提交给目标模型进行一次性批量验证，只需一次前向传播即可判断每个候选token是否正确
65%已验证推测解码基于拒绝采样的验证算法确保输出分布与单独运行主模型完全等价而非近似等价
65%已验证多Token预测与投机解码结合可在不损失生成质量的情况下实现2-4倍的推理速度提升
65%已验证推测解码（Speculative Decoding）是目前最主流的大模型推理加速路径之一，使用小型草稿模型快速生成候选token再由主模型并行验证
65%待验证推测解码、模型蒸馏、KV Cache优化等推理优化技术的持续进步正在使单位推理成本快速下降
85%待验证预测损失合理但下游控制精度为0%高度符合表征坍缩的特征，即编码器骗过自监督目标却未学到有用动态信息
70%待验证推测解码通过小模型生成草稿、大模型批量验证，在数学上通过拒绝采样保证输出与大模型完全一致，是无损加速
70%待验证据 DeepSeek 数据，推测解码中的置信调度带来约 6% 的吞吐提升。
60%待验证一项代码生成研究发现，分阶段提示的准确率比一次性提示高得多
60%待验证扩散草稿模型能在单次前向中并行去噪多个草稿 token，是加速投机解码的重要路线。
50%待验证D3D 是复旦大学生成视觉团队提出的投机解码方法，通过解耦起草器与目标模型隐状态的依赖来加速大模型推理。
50%