DDPM
2020年UC伯克利团队发表的论文,首次系统性地将扩散过程用于图像生成,奠定了现代扩散模型的理论基础
核心事实
时间轴 (近 90 天)
采样操作本身不可导,但训练时损失函数是对噪声预测的回归,梯度可以正常回传。
DDPM沿用Transformer中的正弦位置编码,将时间步t转换为高维向量,再经过两层全连接映射到与特征图通道数匹配的维度,最后通过逐元素相加或FiLM方式调制各层特征。
原始DDPM将反向过程的方差设为固定值,但后续改进版本允许方差也可学习。
在DDPM反向过程中,均值μ_θ的表达式为 μ_θ(x_t, t) = (1/√α_t) · (x_t - (β_t / √(1 - ᾱ_t)) · ε_θ(x_t, t)),其中ε_θ是需训练的神经网络。
原始DDPM采用线性β_t调度,后续工作(如Nichol & Dhariwal)提出余弦调度,使ᾱ_t的衰减更平滑,在低分辨率和高分辨率图像上都表现更稳定。
β_t调度是前向过程中控制加噪节奏的关键超参数,β_t是预先设定、不参与训练的小正数序列,通常从β_1≈1e-4线性或余弦增长到β_T≈0.02。
在DDPM前向过程中,任意时刻x_t的分布可以直接由x₀和t通过公式 x_t = √(ᾱ_t) · x₀ + √(1 - ᾱ_t) · ε 计算,无需逐步迭代。
教程代码使用Fashion-MNIST数据集,设置T=200(原始论文为2000),并在CPU上演示了生成过程。
扩散模型的训练目标一般通过变分下界(ELBO)推导,最终简化为预测噪声的均方误差损失,这是DDPM的核心。
DDPM的核心训练目标常简化为预测噪声ε的均方误差。
还有 24 条时间轴事件
全部知识事实 (20)
扩散模型通过逐步添加高斯噪声再训练模型学习逆向去噪的马尔可夫链机制,规避了对抗训练的不稳定性
90%已验证DDPM(Denoising Diffusion Probabilistic Models)在2020年奠定了扩散模型的理论基础
90%已验证2020年DDPM(Denoising Diffusion Probabilistic Models)在图像生成领域开创了通过逐步加噪—逐步去噪实现高质量生成的范式
80%已验证扩散模型的理论根基可追溯至2015年Sohl-Dickstein等人发表的非平衡热力学论文
80%已验证扩散模型的去噪过程基于DDPM原理,训练时向数据逐步添加高斯噪声,再训练神经网络学习逆向去噪
80%已验证2020年斯坦福大学的DDPM论文将扩散模型引入图像生成领域
75%已验证2022年Stable Diffusion和DALL-E 2的发布标志着扩散模型成为图像生成的主流范式
75%已验证去噪过程的核心思想源自2020年提出的DDPM(Denoising Diffusion Probabilistic Models)
65%已验证2020年Jonathan Ho等人提出了DDPM(去噪扩散概率模型),是引发图像生成革命的关键突破
65%已验证2020年以来扩散模型在图像生成质量上全面超越了GAN(生成对抗网络)
65%待验证2020年的DDPM(去噪扩散概率模型)论文标志着扩散模型开始超越GANs
70%待验证采样操作本身不可导,但训练时损失函数是对噪声预测的回归,梯度可以正常回传。
60%待验证扩散模型的训练目标一般通过变分下界(ELBO)推导,最终简化为预测噪声的均方误差损失,这是DDPM的核心。
60%待验证DDPM的核心训练目标常简化为预测噪声ε的均方误差。
60%待验证扩散策略(Diffusion Policy)是2023年由MIT和哥伦比亚大学团队提出的方法,借鉴了去噪扩散概率模型(DDPM)
60%待验证扩散过程的反向SDE可以表示为 dX_t = [f(X_t,t) - g(t)²∇log p_t(X_t)]dt + g(t)dW̄_t
60%待验证传统扩散模型以DDPM为理论基础,推理通常需要20到50个去噪步骤,且过程单向封闭无法引入外部知识
60%待验证在DDPM前向过程中,任意时刻x_t的分布可以直接由x₀和t通过公式 x_t = √(ᾱ_t) · x₀ + √(1 - ᾱ_t) · ε 计算,无需逐步迭代。
50%待验证β_t调度是前向过程中控制加噪节奏的关键超参数,β_t是预先设定、不参与训练的小正数序列,通常从β_1≈1e-4线性或余弦增长到β_T≈0.02。
50%待验证原始DDPM采用线性β_t调度,后续工作(如Nichol & Dhariwal)提出余弦调度,使ᾱ_t的衰减更平滑,在低分辨率和高分辨率图像上都表现更稳定。
50%