扩散语言模型

扩散语言模型采用并行去噪的思路，可以在一次前向过程中同时优化多个位置的输出，再通过多轮迭代逐步收敛到最终文本

扩散语言模型目前仍处于早期阶段，在生成质量、长文本连贯性、训练稳定性方面与成熟自回归模型相比仍有差距

扩散模型的去噪过程通常需要执行数十到数百次迭代（称为采样步数），每次迭代都需要完整运行一次神经网络的前向传播

扩散语言模型可以同时对整个序列的所有token进行并行预测与迭代优化，而非逐个输出

SpecCTMC 是一种无需训练的推测采样器，用于减少扩散语言模型精确连续时间采样中的顺序模型评估瓶颈。

PACT是一种训练无关的提交规则，用于扩散语言模型的并行解码，其核心流程为先采样token，再认证采样出的token集合是否可靠，最后将每一步写入的位置在序列中隔开。

扩散语言模型正在从研究走向应用，长度外推是绕不开的工程问题。

NCM的31倍提速是在新闻摘要任务上、与最强扩散语言模型（128步）相比，在质量分大致相同时，NCM仅用8步完成生成。

扩散语言模型先形成整体表示，再迭代细化，理论上在生成速度和全局一致性上有优势。

缓存复用误差是扩散语言模型特有的误差源，会与量化误差叠加，需要在量化校准和比特分配中显式处理。

扩散语言模型（如 LLaDA、Dream）采用迭代掩码解码，从全掩码序列出发经过若干去噪步骤逐步揭示 token，且每步对整条序列做双向注意力，已揭示 token 的表示会因新揭示的 token 而更新。

扩散语言模型在每一步去噪中仍需处理全部序列位置，因此并行生成不意味着计算浪费的终结。

扩散语言模型通过并行去噪过程同时生成多个token，有望大幅降低推理时间。

来自 VILA-Lab 的研究提出了 dSpark，一个基于调度蒸馏（schedule distillation）的框架，用于优化扩散语言模型的解码顺序。

扩散语言模型（dLLM）的骨架与 BERT 类掩码语言模型高度相似：训练时随机遮盖一部分 token，让模型根据剩余上下文还原。

与 BERT 通常只做一次预测不同，dLLM 从全掩码或高掩码率出发，反复迭代、逐步减少掩码，直到整句被填满。

dLLM 每一步选择哪些位置先解除掩码（unmask），决定了后续每一步的预测难度。

研究者报告，NCM在特定基准上的生成速度可达扩散语言模型基线的31倍。

NCM与扩散模型的相似之处在于都放弃了严格的从左到右逐token生成，区别在于NCM以显式的多粒度离散码本组织生成过程，层级结构更为明确，而扩散模型则以噪声水平隐式控制生成粒度。

训练时的循环次数分布设计是扩散语言模型效率优化中一个被低估的杠杆。