扩散模型加速贝叶斯后验采样：离线-在线权衡综述

扩散模型作为表达力强的学习先验，在贝叶斯逆问题中备受关注。但直接用于反演时，面临一个核心挑战：加噪后验的得分函数无法仅从先验得分获得。这篇综述系统梳理了应对该挑战的主要方法，并首次以“离线准备与在线推理的成本划分”为线索组织文献，为研究者和工程师提供了一张清晰的加速路线图。

核心问题：后验得分不可得

贝叶斯逆问题要求兼具信息量丰富的先验模型和计算可行的后验推断。基于得分的扩散模型提供了表达力强的学习先验，然而用于反演时会引入条件化问题：加噪后验的得分函数通常无法仅从先验得分获得。这意味着不能简单套用无条件采样器，必须引入额外机制来融入观测信息。

该综述指出，这一条件化问题催生了多种技术路线，它们在不同程度上牺牲离线计算或在线效率来换取后验采样的可行性。理解这些权衡，是选择或设计加速方案的前提。

得分函数（score function） 是扩散模型的核心概念，指对数概率密度关于数据的梯度，即 (\nabla_x \log p(x))。在基于得分的生成模型中，模型学习的是先验得分 (\nabla_x \log p(x))，并通过退火朗之万动力学或反向随机微分方程进行采样。然而，在贝叶斯逆问题中，我们真正需要的是后验得分 (\nabla_x \log p(x|y))，其中 (y) 是观测。根据贝叶斯定理，(p(x|y) \propto p(y|x)p(x))，取对数后梯度为 (\nabla_x \log p(x|y) = \nabla_x \log p(x) + \nabla_x \log p(y|x))。因此，后验得分等于先验得分加上似然得分 (\nabla_x \log p(y|x))。关键在于，似然得分通常难以解析计算或近似，因为它涉及观测模型 (p(y|x))，而该模型可能是非线性的、高维的，或者其梯度不可得。这就是“后验得分无法仅从先验得分获得”的根本原因，也是条件化问题的数学本质。

方法版图：四类主流路径

综述将主要方法归为四类：似然引导、谱与投影方法、序列蒙特卡洛校正，以及摊销条件训练。每类方法对条件化问题的处理方式不同，因而在假设、优势和局限上各有侧重。

• 似然引导：在采样过程中利用观测似然对得分进行修正，通常需要近似或梯度计算。
• 谱与投影方法：通过低秩近似或投影操作降低条件化难度，可能牺牲部分精度。
• 序列蒙特卡洛校正：引入粒子滤波等机制纠正偏差，提升渐近准确性但增加在线负担。
• 摊销条件训练：离线训练一个以观测为条件的模型，将成本前置，在线采样极快但依赖训练分布。

这种分类不是简单的罗列，而是揭示了不同方法在“离线-在线”光谱上的位置。

序列蒙特卡洛（Sequential Monte Carlo, SMC） 是一类基于粒子滤波的采样方法，适用于高维状态空间和复杂后验分布。在扩散模型的后验采样中，SMC 将扩散过程的每个去噪步骤视为一个中间分布，并维护一组加权粒子来近似这些分布。具体而言，在每一步，粒子根据先验得分进行传播，然后根据观测似然重新加权，并通过重采样避免权重退化。SMC 校正的优点在于它提供了渐近一致的估计，并能在理论上纠正因条件化近似带来的偏差。然而，其计算成本随粒子数线性增长，在高维问题中可能面临粒子退化（即少数粒子占据大部分权重）和计算负担过重的问题。此外，重采样策略的设计对性能有显著影响，需要仔细调参。

离线-在线视角：成本如何划分

综述的核心贡献在于按成本划分来组织方法。离线准备阶段可能包括训练条件模型、计算谱基或预计算缓存；在线推理阶段则涉及采样迭代、似然评估或粒子更新。不同方法在这两个阶段分配的计算量差异显著。

例如，摊销条件训练将大部分计算转移到离线阶段，在线阶段仅需少量采样步骤，适合重复推理场景；而序列蒙特卡洛校正则把更多计算放在在线阶段，以应对未知或变化的观测。似然引导和谱方法往往介于两者之间，通过近似在在线效率和离线准备之间取得平衡。

这种视角有助于实践者根据应用场景（如实时性要求、观测分布是否固定）选择合适的方法，而不是盲目追求单一指标。

加速策略的假设与局限

综述强调，每种加速策略都建立在特定假设之上。似然引导可能依赖对似然函数的近似或梯度可得性；谱方法假设后验可由低维结构捕捉；序列蒙特卡洛需要足够的粒子数和重采样策略；摊销训练则要求离线数据覆盖在线观测的分布。

这些假设在带来加速的同时，也限制了方法的适用范围。例如，摊销条件训练在分布外观测上可能表现不佳，而序列蒙特卡洛在高维问题中面临粒子退化风险。综述对这些局限的讨论，为后续研究指明了改进方向。

开放问题与未来方向

文末收集了若干进行中的方向和开放问题。虽然综述未展开细节，但可以推断，如何自适应地分配离线与在线计算、如何结合多种方法的优势、以及如何为高维复杂逆问题设计可扩展的加速方案，仍是活跃的研究领域。

对于从业者而言，这篇综述提供了一个结构化的决策框架：在给定计算预算和问题特性下，权衡离线准备与在线推理的成本，选择或组合合适的方法。随着扩散模型在科学计算和图像重建中的广泛应用，这种系统性的加速视角将愈发重要。

（本文基于rss来源的综述摘要整理，未引入原文未提及的具体数据。）