归一化流
一类通过可逆且可微变换将简单分布映射到复杂数据分布的生成模型,可利用变量替换公式精确计算数据点对数似然,代表方法包括RealNVP、Glow等
核心事实
时间轴 (近 90 天)
NFM可以视作对归一化流的推广:令s=1、t=0时退化为普通归一化流,同时结合少步算子能力与精确似然。
条件可逆神经网络(cINN)是归一化流的一类变体,通过可逆变换将简单基分布映射到目标后验分布,能用精确式子给出后验密度的对数似然。
本文的拉回算法与归一化流相似之处在于同样采用逐层叠加策略,但不需要变换是可逆的,也不要求雅可比行列式有闭式解,每层只需学习一个Stein位移场,这使得拉回算法在变换形式的灵活性上优于传统归一化流。
归一化流通过可逆变换实现精确密度估计,目标密度通过变量替换公式p_K(x) = p_0(f^{-1}(x)) ∏|det ∇f_k^{-1}(x)|计算,其优势是可精确计算对数似然,但代价是每层变换必须满足可逆性和雅可比行列式易于计算这两个约束,这严重限制了模型表达能力。
该框架在条件分布上引入了归一化流,以刻画高度非高斯、非线性的后验形态
该论文训练一个双射(典型实现为归一化流),使目标分布在隐空间中接近结构简单的参考密度
arXiv论文(arXiv:2610.10870v1)提出通过学习一个变量变换,把复杂目标映射回能解析求解的参考空间来求解泊松方程
从归一化流中进行重要性采样(IS)恰好是该控制变量构造的极限情形,当隐空间采样器退化为独立同分布采样时控制变量方法收敛至重要性采样形式
归一化流是一类通过叠加可逆、可微变换来构造复杂概率分布的深度生成模型,利用变量替换公式结合雅可比行列式表达密度
在本文场景中,归一化流不用于生成新样本,而是提供一个将复杂目标密度压平为参考密度的坐标变换
还有 12 条时间轴事件
全部知识事实 (20)
归一化流通过可逆变换能够利用变量替换公式精确计算数据的对数似然,实现精确的密度估计而非近似推断
75%待验证NFM可以视作对归一化流的推广:令s=1、t=0时退化为普通归一化流,同时结合少步算子能力与精确似然。
50%待验证条件可逆神经网络(cINN)是归一化流的一类变体,通过可逆变换将简单基分布映射到目标后验分布,能用精确式子给出后验密度的对数似然。
50%待验证本文的拉回算法与归一化流相似之处在于同样采用逐层叠加策略,但不需要变换是可逆的,也不要求雅可比行列式有闭式解,每层只需学习一个Stein位移场,这使得拉回算法在变换形式的灵活性上优于传统归一化流。
50%待验证归一化流通过可逆变换实现精确密度估计,目标密度通过变量替换公式p_K(x) = p_0(f^{-1}(x)) ∏|det ∇f_k^{-1}(x)|计算,其优势是可精确计算对数似然,但代价是每层变换必须满足可逆性和雅可比行列式易于计算这两个约束,这严重限制了模型表达能力。
50%待验证该框架在条件分布上引入了归一化流,以刻画高度非高斯、非线性的后验形态
50%待验证该论文训练一个双射(典型实现为归一化流),使目标分布在隐空间中接近结构简单的参考密度
50%待验证arXiv论文(arXiv:2610.10870v1)提出通过学习一个变量变换,把复杂目标映射回能解析求解的参考空间来求解泊松方程
50%待验证从归一化流中进行重要性采样(IS)恰好是该控制变量构造的极限情形,当隐空间采样器退化为独立同分布采样时控制变量方法收敛至重要性采样形式
50%待验证归一化流是一类通过叠加可逆、可微变换来构造复杂概率分布的深度生成模型,利用变量替换公式结合雅可比行列式表达密度
50%待验证在本文场景中,归一化流不用于生成新样本,而是提供一个将复杂目标密度压平为参考密度的坐标变换
50%待验证归一化流本身的训练开销以及尾部条件在实际目标上是否成立,是该方法落地时需要权衡的因素
50%待验证这篇论文的核心价值在于把归一化流这类深度生成模型与经典的方差缩减理论打通
50%待验证归一化流与VAE(需要变分下界近似)和GAN(无法计算似然)形成对比
50%待验证归一化流为保证可逆性,网络架构受到较强约束(如RealNVP的仿射耦合层、Glow的1×1可逆卷积),限制单个变换表达能力并使参数量和计算量上升
50%待验证归一化流通过变量替换公式精确计算数据的对数似然:log p(x) = log p(f(x)) + log |det(∂f/∂x)|
50%待验证归一化流能够直接复用LLM成熟的推理基础设施,包括KV-cache管理、张量并行策略、投机解码等推理加速技术
50%待验证STARFlow2通过将图像生成纳入与文本生成一致的自回归归一化流框架,实现了视觉保真度保留、结构对称性和预训练能力延续
50%待验证归一化流对连续分布进行建模,避免了将图像压缩为离散token所带来的信息损失
50%待验证归一化流与大语言模型共享相同的因果掩码(causal mask)、KV-cache缓存机制,以及一致的从左到右序列生成结构
50%