[控场AI]
概念DFlash投机解码

DFlash

一种投机解码(speculative decoding)加速范式,由独立的小型草稿模型批量提出候选token块,再由主模型单次前向并行校验,接受匹配部分并重采样不匹配部分,可获得较高加速比

时间轴 (近 90 天)

10月23日

在 MLX 后端改动中,当草稿模型配置需要独立输出头时,加载草稿自有输出头,同时保留现有 DFlash 模型所用的目标头路径。

待验证50%
10月23日

Ollama v0.40.10 的 MLX 后端支持以 DFlash 草稿模型为 Gemma 4 目标模型做投机解码。

待验证50%
10月23日

在 MLX 推理路径上,当 draft 模型的配置需要时,v0.40.10-rc0 会加载 draft 自有的输出头(output head),同时保留现有 DFlash 模型所使用的 target-head 路径。

待验证50%
10月19日

投机解码配置得当时token生成速度可提升约1.5倍(据vLLM报告);Omer个人在家庭实验室用Qwen3 35B MoE搭配DFlash drafter,实测有2到3倍提升,编码场景接近3倍,浏览器自动化约1.5倍。

待验证50%
10月17日

vLLM 团队与 Reflection AI、Inferact 合作完成了服务路径的联合优化,包括融合 kernel 和 DFlash。

待验证50%
10月17日

在单张H100、相近实测准确率下,QwenDLM-4B + ORL达到1,298 tokens/s,DFlash为746 tokens/s,EAGLE3为405 tokens/s(端到端系统比较:ORL走dlmrt,投机解码走vLLM)。

已过期50%
10月15日

Nemotron 3.5 Bolt 配套提供 LiLiCorr drafter 进行投机解码,通过 DFlash 实现,vLLM 配置中默认带 7 个投机 token。

待验证50%
10月12日

Qwen3.8-27B是稠密模型,全部270亿参数参与每个token的计算,依靠MTP头预测后续token并在单次前向中验证;Ornith 1.5采用MoE架构,每token仅激活约30亿参数,配合DFlash由小型草稿模型提议token块再由主模型校验。

待验证50%
9月24日

MiMo-V2.6内置DFlash投机解码机制,每步可草拟7个token

待验证50%
9月12日

DFlash和DSpark在草稿生成效率和硬件适配上做了针对性优化,在特定模型和工作负载下可能反超经典方案

待验证50%

还有 1 条时间轴事件

全部知识事实 (11)

待验证

MTP与DFlash在架构上有本质不同,但都属于投机解码技术谱系

85%
待验证

在 MLX 后端改动中,当草稿模型配置需要独立输出头时,加载草稿自有输出头,同时保留现有 DFlash 模型所用的目标头路径。

50%
待验证

在 MLX 推理路径上,当 draft 模型的配置需要时,v0.40.10-rc0 会加载 draft 自有的输出头(output head),同时保留现有 DFlash 模型所使用的 target-head 路径。

50%
待验证

投机解码配置得当时token生成速度可提升约1.5倍(据vLLM报告);Omer个人在家庭实验室用Qwen3 35B MoE搭配DFlash drafter,实测有2到3倍提升,编码场景接近3倍,浏览器自动化约1.5倍。

50%
待验证

vLLM 团队与 Reflection AI、Inferact 合作完成了服务路径的联合优化,包括融合 kernel 和 DFlash。

50%
待验证

Nemotron 3.5 Bolt 配套提供 LiLiCorr drafter 进行投机解码,通过 DFlash 实现,vLLM 配置中默认带 7 个投机 token。

50%
待验证

Qwen3.8-27B是稠密模型,全部270亿参数参与每个token的计算,依靠MTP头预测后续token并在单次前向中验证;Ornith 1.5采用MoE架构,每token仅激活约30亿参数,配合DFlash由小型草稿模型提议token块再由主模型校验。

50%
待验证

MiMo-V2.6内置DFlash投机解码机制,每步可草拟7个token

50%
待验证

DFlash和DSpark在草稿生成效率和硬件适配上做了针对性优化,在特定模型和工作负载下可能反超经典方案

50%
待验证

投机解码衍生出Medusa(多头预测)、EAGLE(利用主模型早期层隐藏状态生成草稿)、DFlash(混合布局优化)等多种变体

50%
待验证

Ollama v0.40.10 的 MLX 后端支持以 DFlash 草稿模型为 Gemma 4 目标模型做投机解码。

50%

来源文章