D-Flash：扩散草稿让大模型推理提速3.5倍的秘密

引言：投机解码的瓶颈

如果你部署过大语言模型，一定对长思维链推理的延迟深有体会——模型在推理阶段一个Token接一个Token地生成，几十秒的等待并不罕见。业界为此引入了投机解码（Speculative Decoding），用轻量草稿模型（Draft Model）先猜出一串Token，再让目标模型并行验证，实现无损加速。

然而这套方案存在一个现实瓶颈：像EAGLE3这类先进方法，草稿阶段本身仍是自回归的——Draft模型依然在逐Token地慢慢生成。结果就是「加速了个寂寞」，前向延迟随草稿Token数量线性增长。

D-Flash给出了一个极具启发性的解法：把Drafting过程改成快扩散并行生成，一次前向就吐出整块Token，从根本上绕开逐Token的自回归开销。

核心矛盾：高质量与并行性的博弈

要理解D-Flash的价值，需先看清它试图调和的两股力量。

自回归大模型生成质量有保障，但内存受限、GPU利用率低，本质上是串行的。扩散语言模型（Diffusion LM）天生支持并行生成，理论速度优势明显——可惜开源扩散模型质量普遍不及自回归基座，为维持可接受效果又需堆叠大量去噪步骤，实际推理速度反而更慢。

核心矛盾在于：如何把自回归的高质量与扩散的并行能力结合在一起？

D-Flash的破题思路非常巧妙——让扩散模型「退一步」，不抢生成主力位置，而是专心担任草稿适配器（Draft Adapter）。它利用目标模型内部丰富的隐藏特征作为条件，在极低的草稿成本下换取高接受率。

系统架构：目标模型主导的草稿流程

整个推理流程从目标模型开始。输入Prompt后，目标模型执行一次标准预填充（Prefill），并从浅层到深层均匀抽取若干层的隐藏状态。这些特征拼接后经轻量投影层，压缩为统一的「目标上下文特征」。

关键设计在于：该特征被注入到每一层Draft Layer的KV Cache里，而非仅作为输入混入Embedding。草稿层内部采用双向注意力加MLP结构，每一层都直接获取目标模型的Key、Value投影，即便到了深层也不会信号衰减。

草稿阶段，已有Token与待预测的Mask Token并行进入Draft Layer，一次前向吐出整个Block的Token。最后由目标模型的LM Head输出Logits，交给投机解码并行验证——全程无损，最终结果仍由目标模型决定。

四大核心创新点拆解

创新一：快扩散并行草稿

自回归Drafter逐Token递跑，前向延迟随草稿Token数量线性增加。D-Flash换用快扩散范式，在单个Block里所有Mask Token同时去噪，单次前向生成整块。

延迟对比非常直观：EAGLE3生成8个Token需要12毫秒，16个Token飙到25毫秒；D-Flash用5层草稿模型生成16个Token仅需6毫秒，甚至低于EAGLE3生成8个Token的成本。对Block Size不敏感的特性意味着可以放心加深Draft Model来提升接受长度，而不被草稿延迟绑住手脚。

创新二：目标特征KV注入

这个设计直接决定了接受长度能否随Draft深度持续增长。EAGLE3的做法是把目标特征在输入层与草稿Embedding融合一次，信息随层深逐渐稀释。

D-Flash将融合后的目标上下文特征作为持久化上下文，直接注入每一层Draft Layer的Key和Value投影并存入KV Cache反复使用。这样即便Draft Model加深至5层、8层，Conditioning信号也不会衰减，接受长度随层数有效扩展，加速比自然拉开差距。

创新三：随机锚点采样

标准块扩散训练将Response均匀切块、固定位置Mask，与推理时的实际情况并不匹配。D-Flash改为从Response里随机采样Clean Token作为每个Mask Block的锚点，然后掩蔽后续Token训练并行预测。

这直接对齐了推理场景——草稿模型始终以前一步验证通过的Token为起点开始推测。随机化锚点还让Draft Model接触到更多样化的目标上下文特征，数据利用效率更高。实验显示，该策略在Math500、HumanEval、MTBench上的接受长度和加速比均显著领先固定分块方案。

创新四：损失衰减加权训练

在投机解码中，Block内早期位置的预测错误会导致后续Token全部作废，因此早期位置的准确性尤为重要。D-Flash在交叉熵损失上施加指数衰减权重，对块内位置K的Token按 γ^K 递减——越靠前权重越大。

训练曲线显示，引入Loss Decay后，Math500上第一个Epoch的接受长度就明显高于均匀权重基线，且这种位置感知的损失设计不仅加速收敛，最终收敛质量也有小幅提升。

SOTA对比与跨模型泛化

在SGLang真实服务框架下，D-Flash与MTP在千问3.5系列上做了全面对比。在Math500、HumanEval、MTBench上，D-Flash的接受长度和加速比全面领先——千问3.5-9B在HumanEval上加速达3.5倍，同规模4B和35B-A3B也优势明显。

更重要的是其通用性：方案扩展到千问3.5-27B、千问3-Coder-Next乃至GPT-OSS 20B和120B，依然保持高效加速。跨模型、跨任务的一致表现说明，「快扩散草稿 + 目标特征KV注入」并非针对特定模型的调优技巧，而是一套具备普适性的大模型推理加速方案。

消融实验：验证每个设计的合理性

消融实验揭示了各设计的实际贡献，几个结论尤其值得关注：

• Draft层数并非越深越好：8层模型接受长度更高，但草稿延迟也随之上升，整体加速比反而回落。5层在多个Benchmark上取得最佳平均加速比，说明存在非单调的收益曲线，5层是质量与成本之间的精确平衡点。

• 抽取更多目标特征更优：从目标模型抽取5个隐藏特征比3个在所有Benchmark上表现更好——Math500上5H加速比4.31，3H仅为3.98。代价是离线存储开销线性增加，但相比推理收益完全值得。

• 块大小匹配很关键：训练与推理都用16时，Math500加速比明显优于错配情况。有意思的是，大块训练能泛化到小块推理，反过来却不行——这意味着可以用大块训练一个通用Drafter，推理时根据负载动态调小块大小控制验证成本。

• KV注入完胜输入融合：无论自回归还是快扩散Drafting，KV注入方式均优于输入融合。将目标上下文特征全部移除后，纯五层快扩散Drafter的加速比骤降至2.65~3.73，清晰印证了D-Flash的设计根基——目标模型最了解自身，充分利用其内部信号才是实现高接受率的关键。

局限与未来展望

D-Flash目前仍需分阶段监督微调和强化微调，尚未实现端到端联合优化，这可能进一步提升加速上限。草稿质量也严重依赖目标特征分布，当训练数据或目标模型版本变化时需要重新适配。自适应块大小调度尚未实现——若能根据线上并发动态调整Block Size，吞吐量还有进一步提升空间。

尽管如此，D-Flash为扩散模型在推理加速领域开辟了「轻量Draft Adapter」的新定位。它证明了扩散范式不必与自回归基座正面竞争生成质量，而是可以作为高效并行草稿器与之互补。这个方向的潜力，显然还远没有被充分挖掘。