DeepSeek投机解码算法正式合并vLLM主干，单用户速率提升显著

DeepSeek投机解码算法的最新进展

DeepSeek^广告此前发布的投机解码算法（本文中提及为「DSpark」/「DeepSpark」）近日迎来重要工程落地——该算法已被正式合并到 vLLM 项目的主干代码中。这意味着基于 vLLM 的推理镜像（如 lightlayer builder 系列镜像）已能原生支持这一投机解码方案，无需额外配置。

对于开源大模型的部署者而言，这是一个值得关注的信号。投机解码（Speculative Decoding） 是近年来最具工程价值的推理加速技术之一，其在主流推理框架中的落地进度，直接决定了普通用户能否低成本享受到性能红利。此次合并进入 vLLM 主干，标志着该算法从「论文/官方实现」阶段正式迈入「生产可用」阶段。

技术背景：何为投机解码？ 投机解码最早由Google Brain团队在2023年正式提出，其核心思想源于一个关键观察：大语言模型的推理瓶颈并非计算量本身，而是内存带宽——每生成一个Token都需要将数十亿参数从显存加载到计算单元，这一串行过程极度低效。投机解码通过引入「草稿模型（Draft Model）」打破了这一瓶颈。草稿模型通常是主模型参数量的1/10甚至更小，能以极低成本快速生成多个候选Token序列；主模型随后对整个序列执行一次并行前向计算，以概率接受或拒绝每个草稿Token。由于并行验证的计算成本与验证单个Token相近，而每次验证可「确认」多个Token，理论上可将生成速度提升2–4倍。DeepSeek的DSpark算法在此基础上针对其MLA（Multi-head Latent Attention）架构特点进行了工程优化，设计了专用的草稿策略，使得实际部署中能获得更高的Token接受率。

框架背景：为什么「进入vLLM主干」是重要里程碑？ vLLM（Very Large Language Model Serving）是由UC Berkeley LMSYS团队于2023年开源的高性能推理框架，其核心创新PagedAttention借鉴操作系统虚拟内存分页机制管理KV Cache，将GPU显存利用率从不足40%大幅提升。vLLM目前已成为开源LLM部署的事实标准框架之一。代码合并进**主干（main branch）**意味着：该功能经过核心维护者代码审查、通过了CI/CD自动化测试流水线，并承诺纳入长期维护——而非停留在独立分支或实验性PR阶段。这是从研究成果向生产可用迈进的关键工程信号。

目前支持的模型范围

当前 DSpark 投机解码算法已支持**通义千问^广告 3 系列（Qwen3）**以及 Google Gemma 系列模型。

**Qwen3（通义千问3）**是阿里云在2025年发布的新一代开源大语言模型系列，引入了混合思维模式（支持在流式思考与快速响应间切换）和MoE架构变体，在多项基准测试中表现优异，迅速成为开源社区下载量最高的模型家族之一。Gemma系列则是Google DeepMind推出的轻量级开源模型，以其优秀的推理效率和宽松商用许可著称，特别适合边缘部署场景。DSpark优先支持这两个系列，反映了vLLM社区在适配优先级上的策略判断——两者拥有最大的用户基数和最活跃的社区贡献者，能最快形成广泛的测试覆盖与问题反馈。

需要注意的是，Qwen3.5 系列目前仍处于「有 bug、暂不支持」的状态，Qwen3.6 则还在实现过程中。Qwen3.5和Qwen3.6因架构细节变化（如注意力机制或位置编码方式的调整）需要单独适配草稿模型的Token接受逻辑，这也是其支持滞后的技术原因。考虑到这两个版本才是当下社区使用频率最高的版本，其完整支持才是真正的关键节点。等相关功能合并上线后，值得再做一次针对性的实测验证。

性能表现：单用户体验提升显著

vLLM 团队针对该算法提供了一张性能压力测试曲线图。测试环境为 DeepSeek V4（D300 机器），采用 8K 输入 / 1K 输出的典型长上下文场景。

读图方式如下：

• X 轴：每个用户平均分到的 Token 速率（每秒），数值越大代表单用户体验越好；
• Y 轴：每张 GPU 每秒的整体吞吐量，数值越高代表集群效率越好；
• 蓝线（Baseline）：未启用投机解码的基线；
• 绿线（DSpark）：启用投机解码后的表现。

曲线越靠近右上方，性能越优。

单用户速率：接近 150 倍提升

投机解码带来的最大收益体现在单个用户的生成速率上。在 X 轴维度，DSpark 相较 Baseline 有着接近 150 倍的差距。这意味着在低并发、单用户交互场景下，用户能明显感受到「吐字变快」——这正是投机解码技术的核心优势所在。

要理解这一惊人提升的技术本质，需要引入LLM推理的核心指标概念：TPOT（Time Per Output Token，每Token生成耗时）。投机解码主要优化的正是这一指标。在低并发场景下，GPU的Tensor Core计算单元存在大量空闲（系统处于Memory-bound而非Compute-bound状态），投机解码将这部分闲置算力转化为草稿验证的并行计算，边际成本极低，因此单用户速率提升幅度惊人。

投机解码的原理是让一个小的「草稿模型」先快速生成若干候选 Token，再由大模型一次性并行验证，从而在单次前向计算中「确认」多个 Token。在并发压力不高时，GPU 算力有大量冗余，这种「用算力换延迟」的策略收益最为明显。

整体吞吐量：提升约 40%–50%

相比之下，Y 轴（整体吞吐量）维度的提升幅度相对温和——根据曲线对比估算，总吞吐量大约能提升 40%–50%。

这一差异符合投机解码的技术特性：当系统处于高并发、GPU 已被打满（Saturated）的状态时，算力冗余减少，每一次并行验证都在与其他请求竞争算力资源，「并行验证多 Token」的优势会被稀释，吞吐层面的收益远不及单用户延迟层面的收益。换句话说，这项技术更偏向优化「用户体验」而非「极限吞吐」，最适合C端对话、代码补全等对响应延迟敏感、并发量相对有限的交互场景，而非追求极限QPS的B端批处理场景。

对开源生态的意义

从长期趋势看，随着 DSpark 在 vLLM 主干中持续完善，几乎所有主流开源模型都有望受益于这一加速方案。对于开源模型的生产部署而言，这是一个相当积极的信号：

1. 降低使用门槛：无需自行实现复杂的投机解码逻辑，更新镜像版本即可获得加速效果；
2. 体验收益显著：单用户速率的大幅提升，直接改善了对话、代码补全等交互式应用的实时响应；
3. 推动技术普及：合并进主干意味着更快的迭代周期、更广泛的社区测试与更稳定的长期维护。

当然，目前仍有待完善之处——社区高频使用的 Qwen3.5、Qwen3.6 支持尚未就绪。对于计划将投机解码用于生产环境的团队，建议密切跟进 vLLM 的后续版本更新，在目标模型正式支持后进行实测验证，再决定是否上线。

小结

DeepSeek 投机解码算法合并进 vLLM 主干，是开源推理加速领域的一个实质性进展。其技术原理——以草稿模型的低成本投机生成换取大模型的批量并行验证——使得GPU闲置算力得到充分利用，在单用户速率上带来接近百倍级的体验提升，在整体吞吐上也有约 40%–50% 的收益。这一特性决定了它尤其适合注重实时交互体验的应用场景。随着Qwen3.5、Qwen3.6等高频模型支持范围持续扩大，投机解码有望成为开源大模型部署的「标配」加速手段。

核心要点