EquivFlow：解决SDR转HDR视频暗部崩塌的VAE感知编码

为什么SDR转HDR是个难题

将标准动态范围（SDR）视频重建为高动态范围（HDR）视频是一个典型的病态问题。原始SDR内容中，高光被裁剪、暗部被压碎，还夹杂着量化伪影，重建过程需要在恢复这些丢失细节的同时，忠实地保留原有内容。潜在扩散模型凭借强大的生成先验，为修复缺失细节提供了有力工具，但其效果很大程度上取决于HDR信号如何通过预训练的VAE（变分自编码器）。

近期一项研究指出了其中的关键瓶颈：常见的对数类编码（log-like encoding）会在生成之前抑制低亮度的色度差异，导致在冻结的VAE潜在空间中产生“暗部崩塌”（dark-side collapse）。换句话说，暗部区域的颜色信息在进入扩散模型之前就已经损失了，生成过程再强大也无法找回。

病态问题（ill-posed problem） 在数学与信号处理中，指仅凭观测数据无法唯一确定解的逆问题。SDR转HDR正是如此：高光裁剪意味着超过上限的亮度信息被永久丢弃，暗部压碎则使低于阈值的细节与噪声混为一体，量化伪影进一步污染剩余信号。同一个SDR像素可能对应无数种HDR原始场景，重建算法必须在缺乏约束的情况下做出选择。扩散模型之所以有效，是因为其生成先验相当于引入了一个强约束——它“知道”自然图像和视频通常长什么样，从而在众多可行解中挑出最合理的一个。但这也意味着，先验的质量和输入表示的质量共同决定最终结果，二者缺一不可。

VAE（变分自编码器）在扩散模型中的角色 常被低估。以Stable Diffusion为代表的潜在扩散模型并不直接在像素空间去噪，而是先用VAE的编码器把图像压缩到低维潜在空间，扩散过程在该空间中完成，最后由解码器还原为像素。预训练VAE的编码器是冻结的，它决定了哪些信息能进入生成阶段、哪些会被丢弃。如果编码环节本身就把暗部色度压缩掉，那么无论扩散模型多强大，都无法在潜在空间中“无中生有”地恢复这些信息。这正是“暗部崩塌”的机理所在——瓶颈不在生成器，而在编码器与HDR信号表示方式的不匹配。

EquivFlow：不修改VAE的等变曝光编码

针对上述问题，研究者提出了EquivFlow——一种紧凑、可逆的曝光等变编码（exposure-equivariant encoding）。它的核心设计是将曝光变化映射为加性偏移（additive shift），同时保留一个与尺度无关的色度分量，并且无需对预训练的VAE做任何修改。

这种设计的巧妙之处在于“等变”二字：当输入视频的曝光发生变化时，编码后的表示会以可预测的加性方式相应变化，而不是像对数编码那样非线性地压缩暗部色度。色度分量被设计为尺度无关，意味着它不会随亮度缩放而丢失，从而在暗部区域保留了完整的颜色信息。

等变性（equivariance） 是群论与几何深度学习中的核心概念，与不变性（invariance）相对。不变性指输入变换后输出保持不变，等变性则指输入变换后输出以可预测的、结构化的方式同步变换。以曝光为例：若把场景亮度整体提高一档，理想的编码应当相应地加上一个固定偏移，而不是把暗部非线性地压扁。这种性质使模型无需显式学习曝光变化，就能在表示层面保持一致性。等变编码在物理启发的神经网络中已有广泛应用，EquivFlow将其引入HDR表示，本质上是让编码器“理解”曝光是一种加性变换，从而避免对数曲线对暗部色度的非线性抑制。

编码层面的验证：跨VAE的鲁棒性

研究者在多个预训练的图像和视频VAE上进行了编码层面的测试。结果显示，EquivFlow的曝光结构和深暗部色度传输特性在测试的主机上均得以保持。这说明该编码方案并非针对某个特定VAE的过拟合，而是具有跨模型架构的通用性。

这一点对于实际部署尤为重要：不同的视频生成管线可能使用不同的VAE底座，如果编码方案只能在单一模型上奏效，其应用价值将大打折扣。EquivFlow的跨主机一致性为其广泛适用性提供了支撑。

集成到视频扩散管线中的效果

将EquivFlow集成到SDR转HDR视频扩散流程后，在测试的各种设置下，该方法都带来了稳定的色度保真度提升，同时保持了有竞争力的重建保真度。这意味着暗部颜色不再崩塌，而整体画质也没有因此妥协。

你可能没注意到，这种改进是在不修改冻结VAE的前提下实现的，属于编码层面的轻量级改造。对于已经投入使用的扩散模型管线而言，这种方案避免了重新训练或微调VAE的巨大成本，具备较好的工程可行性。

对HDR重建实践的启示

这项工作的价值不仅在于提出了一个具体编码，更在于揭示了一个容易被忽视的环节：HDR信号在进入生成模型之前的表示方式，可能比生成模型本身更关键。对数编码在HDR领域应用广泛，但它在低亮度色度上的抑制效应此前并未得到充分重视。

对于从事视频修复、SDR转HDR、以及基于扩散模型的图像增强工作的开发者来说，EquivFlow的思路提示我们：在调优生成模型之前，先检查数据编码环节是否存在信息瓶颈，往往能以更低的成本获得更明显的收益。

对数编码为何在HDR领域流行，又为何在此处成为隐患：人眼对亮度的感知近似对数关系，且HDR的动态范围跨越多个数量级，对数变换能把宽范围压缩到网络易于处理的区间，因此PQ、HLG等HDR传输函数以及许多预处理管线都采用对数类曲线。问题在于，这类曲线对亮度的压缩是非线性的：在低亮度区，相邻像素间的微小色度差异被进一步缩小，甚至低于量化精度，于是在进入VAE之前就已不可逆地丢失。换言之，对数编码优化的是亮度动态范围的表示效率，却牺牲了暗部色度的可分辨性。EquivFlow的价值在于提醒开发者：编码曲线的选择不是中性的预处理步骤，而是决定信息瓶颈位置的关键设计决策。