DiffusionGemma详解：谷歌用扩散模型重塑文本生成

引言：当扩散模型遇上语言生成

谷歌近期发布的 DiffusionGemma 技术报告，标志着扩散模型（Diffusion Model）在自然语言处理领域迈出了重要一步。长期以来，扩散模型是图像、视频、音频等连续型数据生成领域的绝对主力，从 Stable Diffusion 到 Sora，无不建立在扩散范式之上。然而，在文本生成这一以离散符号为核心的任务上，自回归（Autoregressive）Transformer 模型——也就是 GPT 系列所代表的架构——始终占据统治地位。

扩散模型的核心思想源自非平衡热力学，其工作机制分为两个过程：前向扩散过程（Forward Process）逐步向数据添加高斯噪声，直至数据变为纯随机噪声；反向去噪过程（Reverse Process）则学习如何从噪声中逐步恢复原始数据。在统计物理学中，扩散过程描述的是粒子从高浓度区域向低浓度区域的随机运动，最终达到热力学平衡态（即最大熵状态）。DDPM 的数学框架正是借用了这一物理直觉：前向过程类似于墨水滴入水中逐渐扩散直至均匀分布（对应纯噪声），而反向过程则如同将这一扩散「倒放」。具体来说，前向过程定义了一个马尔可夫链，每一步按照预定的噪声调度（variance schedule）添加少量高斯噪声，经过 T 步后数据分布收敛到标准正态分布。反向过程同样是一个马尔可夫链，通过神经网络参数化每一步的条件概率分布。训练目标可以简化为让网络预测每一步添加的噪声（即 ε-prediction），其损失函数本质上是一个重加权的变分下界（variational lower bound）。在图像领域，这意味着从一张纯噪声图片出发，经过数十到数百步去噪迭代，最终生成清晰图像。这一范式由 2020 年的 DDPM（Denoising Diffusion Probabilistic Models）论文奠定理论基础，后经 DALL·E 2、Stable Diffusion 等产品验证了其工业化潜力。

值得注意的是，扩散模型与 score-based generative models 之间存在深层联系。Song & Ermon (2019) 提出的基于分数匹配（score matching）的生成模型，通过学习数据分布的梯度（即 score function）来生成样本。Song et al. (2021) 的开创性工作进一步将 DDPM 和 score-based models 统一在随机微分方程（SDE）框架下，揭示了扩散过程可以用连续时间 SDE 描述，而去噪过程对应其逆向 SDE。这一统一视角不仅为理论分析提供了优雅的数学工具，也催生了各种加速采样方法（如 DDIM、DPM-Solver 等），将原本需要数千步的采样过程压缩到几十步甚至几步。正是这些采样加速技术的成熟，才使得扩散模型从学术概念走向工业部署成为可能。

DiffusionGemma 的出现，正是对这一格局的一次有力挑战。它基于谷歌开源的 Gemma 模型体系，将扩散生成机制引入语言建模，探索一条不同于逐词预测的文本生成路径。

扩散语言模型为何值得关注

自回归生成的固有局限

主流大语言模型采用自回归方式，逐个 token 从左到右生成文本。自回归 Transformer 的核心机制是因果语言建模（Causal Language Modeling）：给定前面所有已生成的 token，预测下一个 token 的概率分布。这一过程通过因果注意力掩码（Causal Attention Mask）实现——模型在计算注意力时只能看到当前位置之前的内容，无法「偷看」后面的信息。GPT 系列、LLaMA、Gemini 等主流大模型均采用此架构。其优势在于训练目标清晰（最大化下一个 token 的对数似然）、生成质量稳定，但这种方式虽然效果出色，却存在两个固有问题：

• 生成速度瓶颈：串行解码无法真正并行，推理延迟随文本长度线性增长。每次前向传播只能确定一个 token，生成长度为 N 的文本需要 N 次前向传播，这在长文本生成场景下造成显著的时间开销。更进一步来看，自回归模型在推理时需要维护 KV Cache（Key-Value Cache），这是一种避免重复计算的优化技术：每生成一个新 token，Transformer 的自注意力层需要计算当前 token 与所有已生成 token 之间的注意力。KV Cache 通过存储之前步骤的 K、V 向量来避免冗余计算，但代价是显存占用随序列长度线性增长。对于一个 7B 参数的模型，在长上下文场景（如 128K tokens）下，KV Cache 可能占用数十 GB 显存，成为部署的主要瓶颈之一。这也是为什么 GQA（Grouped Query Attention）、MQA（Multi-Query Attention）等 KV Cache 压缩技术成为近年研究热点。

  业界为加速自回归推理已发展出一系列创新方法：Speculative Decoding（推测解码）使用小模型快速生成候选序列，再由大模型并行验证，可在不损失生成质量的前提下实现 2-3 倍加速；Medusa 和 EAGLE 等方法通过训练额外的预测头来同时猜测多个未来 token；而 PagedAttention（vLLM 项目的核心技术）则通过类似操作系统虚拟内存的分页管理策略来优化 KV Cache 的显存利用率。这些技术的存在说明，扩散语言模型在推理效率上的竞争对手并非原始的自回归推理，而是经过高度优化的推理系统——这也使得扩散模型需要展现更为显著的效率优势才能在实际部署中胜出。

• 全局规划缺失：模型缺乏对整体结构的规划能力，一旦前面生成出现偏差，后续内容难以回头修正。这是因果注意力掩码的必然代价——模型在生成每个 token 时只能依赖已生成的前缀，无法预见全文的结构走向。

扩散范式的核心思路

扩散语言模型采用了截然不同的生成策略。它从一段被完全「噪声化」或「掩码化」的序列出发，通过多步迭代逐渐去噪，最终还原出连贯的文本。

值得注意的是，将扩散模型从连续数据（如图像像素值）迁移到离散数据（如文本 token）面临本质性挑战。传统扩散模型依赖在连续空间中添加和去除高斯噪声，但文本 token 是离散的符号，无法直接进行连续加噪操作。目前主流的解决方案有两条路径：一是将离散 token 映射到连续嵌入空间，在嵌入空间中进行扩散，最后再映射回离散 token（如 Diffusion-LM，Li et al., 2022），但这种方法面临嵌入空间与离散 token 之间的映射精度问题；二是设计专门的离散扩散过程，用掩码（masking）或 token 替换来模拟「加噪」操作（如 D3PM、MDLM）。

在离散扩散的技术路线中，D3PM（Structured Denoising Diffusion Models in Discrete State Spaces，Austin et al., 2021）将扩散过程推广到离散状态空间，通过定义转移矩阵（transition matrix）来描述 token 在离散状态间的随机跳转，其中可以包括均匀转移、吸收态（absorbing state，即掩码）等多种策略。MDLM（Masked Diffusion Language Models，Sahoo et al., 2024）则专注于吸收态扩散——即前向过程只将 token 替换为 [MASK]，不进行其他形式的 token 替换。这与 BERT 的掩码语言建模有形式上的相似性，但 MDLM 引入了连续时间的噪声调度和多步迭代去噪，使其成为真正的生成模型而非仅仅是表征学习模型。

除了上述两条主要路线外，还存在第三条混合路线值得关注。PLAID（Zhang et al., 2023）和 SSD-LM（Han et al., 2023）等工作尝试在 token 的嵌入空间中进行连续扩散，但通过 simplex projection 或 logit 空间操作来保持与离散 token 的对齐。此外，SEDD（Score Entropy Discrete Diffusion，Lou et al., 2024）提出了一种基于具体分数（concrete score）的离散扩散框架，在理论上提供了比 MDLM 更紧致的训练目标。这些不同路线的竞争与融合，构成了当前扩散语言模型研究的技术前沿。DiffusionGemma 大概率采用了掩码扩散方案，即前向过程逐步将 token 替换为 [MASK] 标记，反向过程则学习从完全掩码的序列中恢复原始文本。

这一过程带来三大关键优势：

• 并行生成：模型可以同时处理序列中的所有位置，而非逐词生成，理论上具备更高的推理吞吐潜力。扩散模型在每一步去噪中，可以同时对序列中所有位置进行预测和更新。虽然扩散模型需要多步迭代（通常 10-50 步），但如果迭代步数远小于序列长度，总体推理效率仍可能优于自回归方式。此外，扩散模型在 KV Cache 管理上也更简单——自回归模型需要维护不断增长的 KV 缓存，而扩散模型每步都是对完整序列的全局处理，内存访问模式更加规整，对 GPU 硬件更友好。
• 全局视野：每一步去噪都能看到整个序列的当前状态，使模型在生成时具备更强的全局一致性与可控性。
• 可编辑性：由于生成是迭代式的，扩散模型天然支持对文本的局部修改与填空（infilling）。

DiffusionGemma 正是在 Gemma 这一成熟基座上，验证扩散范式在语言任务中的可行性与竞争力。

DiffusionGemma 的技术架构与设计选择

谷歌选择 Gemma 作为底座并非偶然。Gemma 是谷歌 DeepMind 于 2024 年初推出的开源模型系列，包含 2B 和 7B 两个参数规模的版本，后续又推出了 Gemma 2（含 2B、9B、27B）。Gemma 基于与 Gemini 相同的研究和技术构建，采用了旋转位置编码（RoPE）、GeGLU 激活函数、RMSNorm 归一化等现代 Transformer 设计。

这些组件各有其技术意义：RoPE（Rotary Position Embedding，Su et al., 2021）通过对 Query 和 Key 向量施加旋转矩阵来编码位置信息，天然支持相对位置编码且具有良好的外推性，被 LLaMA、Mistral 等主流模型广泛采用。GeGLU 是门控线性单元（GLU）的一个变体，将 GELU 激活函数与门控机制结合，在 FFN 层中实现更有效的特征选择，相比传统的 ReLU 或 GELU，GeGLU 在语言建模任务上表现出更好的性能。RMSNorm（Root Mean Square Normalization）则是 LayerNorm 的简化版本，去掉了均值中心化操作，仅保留方差归一化，在保持效果的同时减少了约 10% 的计算开销，对于大规模模型训练来说是一个有意义的效率提升。

Gemma 系列在开源 LLM 生态中占据独特位置。与 Meta 的 LLaMA 系列相比，Gemma 更强调轻量化部署和安全性设计；与 Mistral 系列相比，Gemma 背靠谷歌的海量训练数据和 TPU 计算资源。Gemma 2 在 2024 年中期发布时引入了知识蒸馏（Knowledge Distillation）训练策略——较小的模型不仅从数据中学习，还从更大的教师模型中学习，这使得 Gemma 2 9B 在多项基准上超越了同参数量的竞品。2025 年初推出的 Gemma 3 进一步加入了多模态能力。选择 Gemma 作为 DiffusionGemma 的底座，意味着谷歌可能计划将扩散语言建模能力整合进其更广泛的模型生态中。

作为开源模型，Gemma 在 Hugging Face 等平台上可自由获取，支持研究者进行微调和二次开发。以 Gemma 为起点，意味着 DiffusionGemma 可以复用已经过充分预训练的语言表征能力，而无需从零训练一个扩散语言模型。选择 Gemma 作为底座，既能复用其预训练权重中编码的丰富语言知识，又便于社区复现和拓展。

这种「在强大自回归基座上改造为扩散模型」的策略，是当前学界与工业界探索扩散语言模型的一条主流路线。相比完全从头训练，它能够：

• 大幅降低计算成本
• 借助原模型积累的语言知识缩短收敛时间
• 提升最终生成质量

从技术角度看，这种改造通常涉及将原有的因果注意力掩码替换为双向注意力（Bidirectional Attention），使模型在去噪过程中能够同时关注序列的前后文信息。同时需要引入噪声调度器（Noise Scheduler）和时间步嵌入（Timestep Embedding），让模型感知当前处于去噪过程的哪一阶段。

从技术报告的定位来看，DiffusionGemma 更像是一次系统性的探索与工程验证，旨在回答一个核心问题：扩散范式能否在文本生成上追平甚至超越自回归模型？

扩散语言模型的行业发展背景

DiffusionGemma 并非孤立事件。近一两年，扩散语言模型（Diffusion Language Model，简称 dLLM）正逐渐成为研究热点：

• Inception Labs 推出的 Mercury 模型展示了显著的速度优势。Mercury 于 2025 年初发布，是首个商业化落地的扩散语言模型，其核心卖点是推理速度：在部分基准测试中，Mercury 的生成速度达到了同等质量自回归模型的 5-10 倍。Mercury 通过优化离散扩散的去噪步数和并行解码策略，实现了在较少迭代步数内生成高质量文本。这一成果引发了业界对扩散语言模型商业可行性的广泛关注，也为后续 DiffusionGemma 等模型的推出奠定了市场预期。
• 多个学术团队在代码生成、结构化输出等任务上验证了扩散文本模型的潜力
• 越来越多的研究表明，扩散范式在特定场景下可以与自回归模型互补

谷歌作为扩散模型技术的重要推动者之一——从早期的图像扩散研究到 Imagen、Veo 等产品——将其在图像领域的深厚积累迁移到语言领域，具备天然优势。DiffusionGemma 的推出，可以视为大厂正式下场，为这一新兴方向注入更强的资源与信誉背书。

有意思的是，扩散语言模型目前仍处于早期阶段。在生成质量、长文本连贯性、训练稳定性等方面，与成熟的自回归模型相比仍有差距需要弥补。具体来说，离散扩散模型面临的核心训练难题包括：噪声调度的设计——不同于图像扩散中线性或余弦调度已有成熟方案，文本扩散中最优的掩码比例调度仍在探索中；序列长度泛化——模型在短序列上训练后能否在长序列上保持质量是一个开放问题；评估指标的选择——困惑度（Perplexity）对扩散模型并不直接适用（因为精确似然计算需要积分），通常需要依赖 ELBO 估计或其他代理指标。技术报告的价值，正在于把这些真实的挑战与实验结果透明地呈现出来，为后续研究提供参考基线。

DiffusionGemma 的潜在应用场景

如果扩散语言模型的性能持续提升，其应用前景相当广阔：

高吞吐推理场景

得益于并行解码能力，扩散模型有望在需要大规模批量文本生成的场景中显著降低延迟，例如实时内容生产、大批量数据处理等。在实际部署中，自回归模型的推理成本主要由序列长度决定——每生成一个 token 都需要完整的前向传播和 KV Cache 更新。而扩散模型的推理成本主要由去噪步数决定，与序列长度解耦。当目标序列较长而去噪步数可控时（例如生成 1000 个 token 只需 20 步迭代），扩散模型在吞吐量上可能展现出数量级的优势。

可控文本生成

迭代去噪机制使得在生成过程中施加约束（如格式、关键词、长度、风格）更加自然，适用于需要精确控制输出的业务场景。在扩散框架下，可控生成可以通过引导（Guidance）机制实现——类似于图像扩散中的 Classifier-Free Guidance（CFG），在去噪过程中引入额外的条件信号来引导生成方向，而无需重新训练模型。

CFG 最初由 Ho & Salimans 于 2022 年为图像扩散模型提出，核心思想是在训练时以一定概率丢弃条件信息（unconditional training），推理时将有条件预测和无条件预测的差值放大，从而增强生成结果与条件的一致性。数学上，引导后的预测为：ε_guided = ε_uncond + w × (ε_cond - ε_uncond)，其中 w 为引导强度。将这一思想迁移到文本扩散模型时，条件信号可以是主题关键词、格式要求、风格标签等。与自回归模型中常用的系统提示（system prompt）或 RLHF 相比，CFG 提供了一种无需额外训练、仅在推理时即可调节的可控生成机制，且引导强度可以连续调节，提供了更细粒度的控制灵活性。

文本填空与编辑

相比自回归模型的单向生成，扩散模型对双向上下文的建模能力，使其在文本补全、内容改写、段落插入等任务上更具潜力。具体而言，对于文本编辑任务，只需将需要修改的部分重新掩码，保留其余内容不变，然后让模型对掩码部分进行去噪重建。这种「局部重生成」的能力是自回归模型难以原生支持的——后者通常需要从修改点开始重新生成所有后续内容。这一特性在实际应用中尤其有价值：想象一个写作辅助工具，用户可以选中段落中的某几句话要求重写，而不影响文章的其余部分；或者在代码生成场景中，仅修复某个函数的实现而保持接口定义不变。

结语：扩散范式能否重塑文本生成

DiffusionGemma 技术报告的意义，不仅在于推出了一个具体的模型，更在于它代表了大厂对「文本扩散」这一前沿方向的正式投入。虽然目前该报告在社区中的讨论度尚不高，但它所探索的核心问题——扩散范式能否重塑文本生成——具有深远的想象空间。

在自回归模型主导多年之后，扩散语言模型正试图打开另一扇门。它未必会立刻取代 GPT 式架构，但很可能成为未来大模型技术多元化格局中的重要一极。从更宏观的视角来看，AI 生成模型的演进从来不是单一路线的胜利——正如 GAN、VAE、Flow Model、Diffusion Model 在图像生成领域各擅胜场，文本生成领域也终将迎来范式多元化的时代。

回顾图像生成领域的范式演进：GAN（Generative Adversarial Network，Goodfellow et al., 2014）通过生成器与判别器的对抗训练来学习数据分布，曾长期领先但存在训练不稳定和多样性不足（mode collapse）等问题。VAE（Variational Autoencoder，Kingma & Welling, 2013）通过变分推断学习数据的潜在分布，训练稳定但生成结果偏模糊。Flow Model 通过可逆变换精确计算似然值，但模型设计受可逆性约束。扩散模型在 2020 年后异军突起，实现了训练稳定性与生成质量的兼顾。当前图像生成领域已形成以扩散模型为主、Flow Matching（如 Stable Diffusion 3 所用的 Rectified Flow）为新兴趋势的格局。文本生成领域是否会经历类似的范式演进——从自回归一家独大走向多种生成范式共存——正是 DiffusionGemma 等工作所要回答的问题。

对于关注 AI 生成技术演进的从业者而言，DiffusionGemma 值得持续跟踪。

核心要点

• 扩散模型跨界语言生成：DiffusionGemma 将在图像领域大获成功的扩散范式引入文本生成，基于谷歌开源 Gemma 模型体系构建，探索自回归之外的生成路径
• 解决自回归固有局限：扩散语言模型通过并行去噪机制突破逐词生成的速度瓶颈，同时利用双向注意力获得全局规划能力，弥补自回归模型在全局一致性上的不足
• 离散扩散的技术突破：从 D3PM 到 MDLM 再到 SEDD，离散扩散技术路线日趋成熟，掩码扩散方案为文本扩散提供了可行的数学框架
• 行业趋势加速：Mercury 模型的商业化落地证明了扩散语言模型的实用潜力，谷歌的正式入场进一步验证了这一方向的战略价值
• 应用前景广阔：高吞吐推理、可控生成（通过 CFG 等引导机制）、文本编辑与填空等场景是扩散语言模型的天然优势领域
• 仍处早期但潜力巨大：噪声调度设计、序列长度泛化、评估指标选择等挑战尚待解决，但多元化生成范式的趋势已不可逆转