DFlash
一种投机解码(speculative decoding)加速范式,由独立的小型草稿模型批量提出候选token块,再由主模型单次前向并行校验,接受匹配部分并重采样不匹配部分,可获得较高加速比
时间轴 (近 90 天)
在 MLX 后端改动中,当草稿模型配置需要独立输出头时,加载草稿自有输出头,同时保留现有 DFlash 模型所用的目标头路径。
Ollama v0.40.10 的 MLX 后端支持以 DFlash 草稿模型为 Gemma 4 目标模型做投机解码。
在 MLX 推理路径上,当 draft 模型的配置需要时,v0.40.10-rc0 会加载 draft 自有的输出头(output head),同时保留现有 DFlash 模型所使用的 target-head 路径。
投机解码配置得当时token生成速度可提升约1.5倍(据vLLM报告);Omer个人在家庭实验室用Qwen3 35B MoE搭配DFlash drafter,实测有2到3倍提升,编码场景接近3倍,浏览器自动化约1.5倍。
vLLM 团队与 Reflection AI、Inferact 合作完成了服务路径的联合优化,包括融合 kernel 和 DFlash。
在单张H100、相近实测准确率下,QwenDLM-4B + ORL达到1,298 tokens/s,DFlash为746 tokens/s,EAGLE3为405 tokens/s(端到端系统比较:ORL走dlmrt,投机解码走vLLM)。
Nemotron 3.5 Bolt 配套提供 LiLiCorr drafter 进行投机解码,通过 DFlash 实现,vLLM 配置中默认带 7 个投机 token。
Qwen3.8-27B是稠密模型,全部270亿参数参与每个token的计算,依靠MTP头预测后续token并在单次前向中验证;Ornith 1.5采用MoE架构,每token仅激活约30亿参数,配合DFlash由小型草稿模型提议token块再由主模型校验。
MiMo-V2.6内置DFlash投机解码机制,每步可草拟7个token
DFlash和DSpark在草稿生成效率和硬件适配上做了针对性优化,在特定模型和工作负载下可能反超经典方案
还有 1 条时间轴事件
全部知识事实 (11)
MTP与DFlash在架构上有本质不同,但都属于投机解码技术谱系
85%待验证在 MLX 后端改动中,当草稿模型配置需要独立输出头时,加载草稿自有输出头,同时保留现有 DFlash 模型所用的目标头路径。
50%待验证在 MLX 推理路径上,当 draft 模型的配置需要时,v0.40.10-rc0 会加载 draft 自有的输出头(output head),同时保留现有 DFlash 模型所使用的 target-head 路径。
50%待验证投机解码配置得当时token生成速度可提升约1.5倍(据vLLM报告);Omer个人在家庭实验室用Qwen3 35B MoE搭配DFlash drafter,实测有2到3倍提升,编码场景接近3倍,浏览器自动化约1.5倍。
50%待验证vLLM 团队与 Reflection AI、Inferact 合作完成了服务路径的联合优化,包括融合 kernel 和 DFlash。
50%待验证Nemotron 3.5 Bolt 配套提供 LiLiCorr drafter 进行投机解码,通过 DFlash 实现,vLLM 配置中默认带 7 个投机 token。
50%待验证Qwen3.8-27B是稠密模型,全部270亿参数参与每个token的计算,依靠MTP头预测后续token并在单次前向中验证;Ornith 1.5采用MoE架构,每token仅激活约30亿参数,配合DFlash由小型草稿模型提议token块再由主模型校验。
50%待验证MiMo-V2.6内置DFlash投机解码机制,每步可草拟7个token
50%待验证DFlash和DSpark在草稿生成效率和硬件适配上做了针对性优化,在特定模型和工作负载下可能反超经典方案
50%待验证投机解码衍生出Medusa(多头预测)、EAGLE(利用主模型早期层隐藏状态生成草稿)、DFlash(混合布局优化)等多种变体
50%待验证Ollama v0.40.10 的 MLX 后端支持以 DFlash 草稿模型为 Gemma 4 目标模型做投机解码。
50%