连续扩散语言模型：能否取代自回归范式生成文本

语言模型正在探索新方向

自回归（Autoregressive）Transformer 架构几乎垄断了大语言模型的技术路线——从 GPT 系列到各类开源模型，都遵循着「逐个 token 预测下一个词」的生成方式。自回归生成的数学本质是将联合概率 P(x₁,x₂,...,xₙ) 分解为条件概率的连乘：P(x₁)·P(x₂|x₁)·P(x₃|x₁,x₂)...。这种因果分解虽然数学上严谨且训练高效（可以通过 teacher forcing 并行计算所有位置的损失），但推理时必须严格串行执行——每生成一个 token 都需要一次完整的前向传播，这也是当前大模型推理成本居高不下的重要结构性原因。

自回归 Transformer 的主导地位可以追溯到 2017 年 Google 发表的《Attention Is All You Need》论文，该架构通过自注意力机制（Self-Attention）取代了此前的 RNN/LSTM 序列建模方式。Teacher forcing 作为一种关键训练技巧，在训练时将真实的目标序列作为解码器输入，而非模型自身的预测结果，这使得 Transformer 可以在训练阶段对所有位置并行计算损失函数，大幅提升训练效率。但训练与推理的不一致性——训练时看到真实上下文，推理时看到自己生成的上下文——本身就埋下了暴露偏差的隐患。目前业界通过 KV Cache 缓存已计算的键值对来避免重复计算，但每个新 token 仍需一次前向传播，这使得生成 1000 个 token 就需要 1000 次模型调用，成为推理成本的核心瓶颈。

除了推理串行性之外，自回归模型还面临着上下文窗口限制的根本性问题。尽管近年来通过 RoPE 位置编码外推、滑动窗口注意力等技术将上下文窗口从最初的 2048 扩展到 128K 甚至更长，但注意力机制的二次方计算复杂度（O(n²)）仍是根本瓶颈。FlashAttention 等 IO 感知算法虽然在硬件层面优化了计算效率，但并未改变算法复杂度本身。此外，自回归生成的单向性也意味着模型无法像人类写作那样先构思框架再填充细节，这种「只能向前看」的特性被认为是限制模型规划能力的结构性缺陷。

然而，扩散模型（Diffusion Models）在图像、音频等连续数据领域的巨大成功，催生了一个更具想象力的问题：能否用扩散模型的思路来生成文本？

「连续扩散语言模型」（Continuous Diffusion Language Models，简称 CDLM）正是这一探索方向的代表。尽管目前关注度仍处于早期阶段，但它触及了生成式 AI 领域最前沿也最具争议的话题之一：扩散范式是否能够挑战自回归的主导地位。

什么是连续扩散语言模型

从图像扩散到文本扩散的跨越

扩散模型的核心思想是「加噪-去噪」：训练时向数据逐步添加噪声直至变为纯噪声，生成时则从噪声出发逐步还原出清晰的数据。从数学角度看，前向过程是一条马尔可夫链，通过 T 步逐渐向数据注入高斯噪声，直到数据分布趋近于标准正态分布；反向过程则训练一个神经网络来预测每一步的噪声分量（即 ε-prediction）或直接预测去噪后的数据。支撑这一机制的关键数学工具包括变分下界（ELBO）、评分匹配（score matching）和随机微分方程（SDE）。

扩散模型的理论根基可以追溯到 2015 年 Sohl-Dickstein 等人提出的非平衡热力学启发的生成模型，但真正引爆这一领域的是 2020 年 Ho 等人发表的 DDPM（Denoising Diffusion Probabilistic Models）论文。DDPM 的核心贡献在于简化了训练目标：将复杂的变分下界优化简化为一个简单的噪声预测任务（ε-prediction），即训练网络预测在某一时间步添加的噪声。随机微分方程（SDE）视角由 Song 等人在 2021 年提出，将离散的扩散步骤统一到连续时间框架下，使得可以灵活选择不同的 ODE/SDE 求解器来加速采样。后续的关键改进包括 DDIM（确定性采样加速）、Classifier-Free Guidance（无分类器引导）等技术，共同将扩散模型的实用性推向了工业级水平。此后 Stable Diffusion、DALL·E 等模型更是将这一范式推向了大规模商业应用。

扩散模型在图像领域的成功并非偶然，而是建立在一系列关键技术突破之上。2022 年 Rombach 等人提出的潜在扩散模型（Latent Diffusion Model, LDM）是一个里程碑——它将扩散过程从像素空间转移到压缩后的潜在空间，将计算成本降低了数十倍，直接催生了 Stable Diffusion 的诞生。在音频领域，AudioLDM 和 MusicGen 等模型同样采用了类似的潜在空间扩散策略。这种「先压缩再扩散」的范式启发了 CDLM 的设计思路——文本的嵌入空间本质上就是一种潜在表示空间。值得注意的是，视频生成领域的 Sora 也采用了时空潜在扩散架构，证明了扩散范式在处理序列数据方面的巨大潜力。

然而，将扩散模型迁移到文本领域存在一个根本性障碍：图像是连续的像素值，而文本是离散的 token。噪声可以自然地叠加在连续像素上，却难以直接作用于离散符号——你无法对「猫」这个词加上 0.3 个标准差的高斯噪声来得到一个「略微模糊的猫」。

连续嵌入空间的巧妙设计

CDLM 的关键在于「连续」二字。它并不直接在离散 token 上做扩散，而是将文本映射到一个连续的嵌入空间（embedding space），在这个连续表示上执行扩散过程，最后再解码回离散的文本。

嵌入空间是将离散符号映射到高维连续向量的表示空间。嵌入空间的概念最早可追溯到 2013 年 Mikolov 提出的 Word2Vec，该方法首次证明了词向量能够捕捉语义关系（经典例子：king - man + woman ≈ queen）。在 NLP 中，每个 token 通过嵌入矩阵被转换为一个 d 维向量（通常 d 为 768、1024 或更高维度），这些向量在语义上具有连续可微的性质——语义相近的词在嵌入空间中距离较近。现代语言模型的嵌入矩阵规模已远超早期——一个词表大小为 50,000、嵌入维度为 4096 的模型，其嵌入矩阵包含超过 2 亿个参数。

然而，嵌入空间不仅是简单的向量映射，它具有丰富的几何和拓扑结构。研究表明，现代语言模型的嵌入空间呈现出各向异性（anisotropic）特征——向量并非均匀分布在高维球面上，而是聚集在若干低维子空间中。这种现象被称为「表示退化」（representation degeneration），它会影响 CDLM 中扩散过程的效果，因为标准高斯噪声的各向同性假设与嵌入空间的实际分布不匹配。为此，部分 CDLM 研究引入了自适应噪声调度或对嵌入空间进行预处理（如正交化、归一化），以确保扩散过程与嵌入空间的几何结构相兼容。

评分匹配（score matching）则是扩散模型训练的核心目标之一，它学习数据分布的梯度（即「评分函数」∇log p(x)），而非直接学习概率密度本身，巧妙地避免了归一化常数的计算难题。CDLM 正是利用了嵌入空间的连续性和几何结构，使得这些原本为连续数据设计的成熟数学工具可以无缝复用。在嵌入空间中的微小移动对应着语义上的渐变，这恰好与扩散模型逐步去噪的过程相契合——从噪声到清晰文本的轨迹可以被理解为在语义空间中的一条从混沌到有序的连续路径。

与自回归模型逐词生成不同，扩散语言模型可以并行地对整个序列进行迭代式精炼——一开始输出可能是模糊或随机的，经过多轮去噪后逐渐收敛为语义连贯的文本。

扩散语言模型相比自回归模型的潜在优势

并行生成与全局规划能力

自回归模型的一大局限是串行生成：必须先产生前面的 token 才能生成后面的，这限制了推理速度，也使模型难以进行「全局规划」。而扩散模型天然支持并行处理整个序列，理论上可以带来以下改进：

• 提升生成速度：在合适的采样步数下，减少长序列的逐词等待时间。
• 增强生成可控性：由于是对全序列反复精炼，模型更容易在生成过程中回溯修正，实现填空、约束生成等灵活任务。Classifier-Free Guidance（CFG）是扩散模型中实现可控生成的核心技术，其原理是在训练时以一定概率丢弃条件信息，推理时将有条件和无条件的预测结果进行线性外推：ε_guided = ε_uncond + w·(ε_cond - ε_uncond)，其中 w 为引导强度。在图像生成中，CFG 显著提升了文本-图像对齐质量。将这一技术迁移到文本扩散中，可以实现精细的风格控制、主题约束和格式规范，这为扩散语言模型在可控文本生成领域提供了独特的技术优势。
• 更好的双向上下文理解：不像自回归只能看左侧上下文，扩散模型在每一步都能利用全局信息。

迭代去噪带来的纠错能力

扩散生成的「多步去噪」特性意味着模型有机会逐步修正错误。相比之下，自回归模型一旦生成了错误的 token，后续生成往往会被这个错误「带偏」——这在学术上被称为「暴露偏差」（exposure bias）问题，即模型训练时看到的是真实的前缀，但推理时却可能面对自己生成的错误前缀，导致误差逐步累积。扩散模型的迭代精炼特性天然缓解了这一问题：每一步去噪都有机会全局审视并修正前一步的不完善之处，这让扩散语言模型在鲁棒性上具备潜在优势。

连续扩散语言模型面临的现实挑战

生成质量与采样效率的权衡

尽管理论优势诱人，扩散语言模型目前仍面临严峻挑战。首先是生成质量问题：在同等参数规模下，扩散语言模型的困惑度（perplexity）和下游任务表现通常仍落后于成熟的自回归模型。困惑度是评估语言模型质量的经典指标，定义为测试集上模型预测概率的几何平均的倒数，即 PPL = exp(-1/N · Σlog P(xᵢ))。直观理解上，困惑度越低意味着模型对真实文本的预测越「不意外」——一个困惑度为 10 的模型，相当于在每个位置平均面对 10 个等概率选项的不确定性。当前最优的自回归大语言模型在标准测试集上的困惑度已经非常低，这使得扩散语言模型需要跨越的性能差距相当显著。

不过，困惑度虽然是语言模型评估的经典指标，但它存在显著局限。困惑度本质上衡量的是模型对训练分布的拟合程度，并不直接反映生成文本的质量、多样性或有用性。研究表明，困惑度较低的模型不一定在下游任务上表现更好——例如在创意写作或多样性生成方面，过低的困惑度反而可能意味着模型过于保守。对于扩散语言模型的评估，社区正在探索更多维度的指标，包括 MAUVE 分数（衡量生成分布与参考分布的差异）、Self-BLEU（衡量生成多样性）、以及基于人类偏好的评估方法。

其次是采样效率瓶颈：虽然单步内可以并行处理所有位置，但为了保证生成质量往往需要几十甚至上百步去噪迭代，每一步都需要一次完整的模型前向传播。这意味着实际速度优势并不总是明显，尤其是当自回归模型配合 KV Cache、推测性解码（speculative decoding）等加速技术后，速度差距可能进一步缩小。

推测性解码（Speculative Decoding）是 2023 年以来自回归模型推理加速的重要技术之一。其核心思想是使用一个小型「草稿模型」快速生成多个候选 token，然后用大型「验证模型」在一次前向传播中并行验证这些候选是否可接受。由于验证的并行性，当草稿模型的猜测准确率足够高时，可以实现 2-3 倍的推理加速且不损失任何生成质量。类似的加速技术还包括 Medusa（多头并行预测）、Lookahead Decoding 等。这些技术的快速发展对扩散语言模型构成了竞争压力——扩散模型需要证明其并行优势在这些加速技术面前仍然成立。

连续表示到离散 Token 的解码难题

在嵌入空间做扩散虽然优雅，但「连续表示如何精确解码回离散 token」始终是一个易出错的环节。嵌入空间中的微小偏差可能导致解码出完全错误的词——例如去噪后的向量可能落在「猫」和「狗」两个嵌入之间的模糊地带，最近邻解码可能给出不稳定的结果。这种「量化误差」在序列长度增加时会进一步放大，这也是社区讨论中的一个焦点。

部分研究者认为，离散扩散（直接在 token 上定义扩散过程）或许是更契合文本本质的路线。典型方法包括 D3PM（Discrete Denoising Diffusion Probabilistic Models）和 MDLM（Masked Diffusion Language Models）。D3PM（Austin 等人，2021）的核心创新在于通过定义 token 之间的转移矩阵来实现「加噪」——以一定概率将某个 token 替换为其他 token 或统一噪声分布，支持多种噪声策略包括均匀噪声、吸收状态噪声（absorbing state，即逐步将 token 替换为特殊的 [MASK] 标记）等。MDLM（Sahoo 等人，2024）则借鉴了 BERT 的掩码策略，将前向过程定义为逐步将 token 替换为 [MASK]，反向过程则预测被掩码的内容，通过精心设计的噪声调度和损失权重在语言建模基准上取得了显著改进。

2024 年的另一项重要工作 SEDD（Score Entropy Discrete Diffusion）则将评分匹配的思想推广到离散空间，定义了离散版本的评分函数（concrete score），在标准语言建模基准上首次接近了同等规模 GPT-2 的困惑度表现。离散扩散的优势在于完全避免了连续-离散转换的误差累积，但面临的挑战是离散空间中缺乏连续梯度信息，采样过程的优化更为困难。近期的研究表明，经过精心设计的离散扩散模型在某些任务上已经能够接近自回归模型的表现。

离散扩散和连续扩散代表了两种根本不同的技术哲学。连续扩散的优势在于可以复用成熟的连续优化工具和已被验证的架构设计，但付出了连续-离散转换误差的代价。离散扩散虽然更加「原生」地适配文本数据，但在数学工具上面临更大挑战——离散空间中没有梯度概念，需要通过 Gumbel-Softmax 重参数化或直接定义离散转移核来实现可微训练。2024 年的研究趋势表明，两条路线正在相互借鉴：连续扩散模型开始引入离散化感知的训练目标，而离散扩散模型也在探索将连续时间 SDE 框架推广到离散状态空间的可能性。

扩散语言模型的意义与未来方向

打破技术范式单一化的探索价值

无论 CDLM 最终能否在性能上超越自回归模型，它的探索本身就挺重要的。当前大语言模型领域高度同质化，几乎所有主流模型都基于相同的架构与训练范式。扩散语言模型代表了一条截然不同的技术路径，为学术界和产业界提供了宝贵的「第二选择」，有助于避免整个领域陷入单一路线的局部最优。

自回归与扩散的混合范式

说个细节，扩散与自回归并非非此即彼。近期已有一些工作尝试将两者结合——例如 SUNDAE（Step-unrolled Denoising Autoencoders）通过在训练时展开多步去噪过程并对每一步施加损失，弥合了训练与推理之间的差距；谷歌的 DART（Denoising Autoregressive Transformer）则采用「先粗后精」的两阶段策略，让模型在自回归生成粗略草稿后，用扩散过程进行精炼，本质上是将自回归视为粗粒度规划、将扩散视为细粒度润色。另一个值得关注的方向是「半自回归」生成——模型每次并行生成一个块（chunk）的 token，块之间仍按自回归顺序生成，本质上是在并行度和序列依赖之间寻找最优平衡点。

半自回归生成的概念并非扩散模型独有。在机器翻译领域，Non-Autoregressive Translation（NAT）早在 2018 年就被 Gu 等人提出，通过一次性并行生成所有目标 token 实现了显著加速，但代价是翻译质量下降（主要表现为重复 token 和漏译）。后续的迭代式 NAT 方法（如 Mask-Predict、CMLM）通过多轮迭代精炼在质量和速度之间取得了更好的平衡。这些工作可以被视为扩散语言模型的前驱——从本质上看，迭代式非自回归翻译就是一种简化版的离散扩散过程。当前的块级并行方法还面临确定最优块大小的挑战：块太小则并行收益有限，块太大则块内的 token 依赖难以建模。

Meta 在 2024 年提出的「大语言模型作为扩散模型的条件」框架也值得关注，即用自回归 LLM 生成语义蓝图，再用扩散模型将蓝图实例化为具体文本。这种混合范式或许才是未来最具潜力的方向：兼顾自回归模型的高质量输出与扩散模型的并行性、可控性。在工业应用层面，扩散语言模型在需要精确控制输出格式（如代码生成、结构化数据生成）和需要全局一致性（如长文档生成、多轮对话规划）的场景中可能最先找到其竞争优势。这些融合尝试也暗示了一种可能性：未来最强大的文本生成系统可能不会纯粹属于任何单一范式，而是根据任务特性灵活组合不同生成机制的优势。

结语

连续扩散语言模型仍处于研究的早期阶段，它既不是自回归模型的即时替代者，也远未成熟。但它提出的问题足够深刻：我们真的需要逐词生成文本吗？ 在生成式 AI 快速演进的今天，这类挑战主流范式的探索恰恰是推动技术边界的重要力量。对于关注 AI 前沿的开发者与研究者而言，扩散语言模型是一个值得持续追踪的研究方向。

核心要点