无需VAE训练文生图模型：扩散架构的新探索

文生图模型为何长期依赖VAE

当前主流的文本到图像（Text-to-Image）扩散模型，几乎都建立在一个共同的技术基础之上——变分自编码器（VAE，Variational Autoencoder）。无论是Stable Diffusion系列还是其他开源扩散模型，它们普遍采用的是**潜空间扩散（Latent Diffusion）**架构，即先用VAE把高分辨率图像压缩到一个低维的潜在空间，再在这个压缩后的空间里进行扩散与去噪计算，最后通过VAE解码器还原成像素图像。

这种设计的核心动机是降低计算成本。直接在原始像素空间（例如512×512×3）上做扩散，计算量极为庞大；而把图像压缩到潜空间（例如64×64×4）后，扩散模型需要处理的数据量大幅减少，训练和推理效率因此得到显著提升。可以说，VAE是让高分辨率扩散模型变得可行的关键组件之一。

VAE（变分自编码器）由Kingma与Welling于2013年提出，其核心思想是通过编码器将输入数据映射到一个概率分布（通常是高斯分布）的参数上，再从该分布中采样得到潜在向量，最后由解码器重建原始数据。与普通自编码器相比，VAE的潜空间具有连续性与可插值性，这使其天然适合与扩散模型结合。在Latent Diffusion Model（LDM，即Stable Diffusion的前身）中，VAE的压缩比通常为8倍（线性维度），意味着一张512×512的图像会被压缩为64×64的潜在表征，计算量降低约64倍。这一压缩效率正是LDM能在消费级GPU上运行的根本原因。值得注意的是，Stable Diffusion所使用的VAE经过了专门的感知损失（perceptual loss）与对抗训练优化，其重建质量远超早期标准VAE，但仍存在高频细节丢失、色彩偏移等固有问题。

去掉VAE意味着什么

这篇在Hacker News上被讨论的研究提出了一个值得关注的方向：在不使用VAE的前提下训练文生图模型。这看似只是替换一个模块，但背后牵涉到整个生成管线的重新设计。

VAE虽然高效，却并非没有代价。它引入了额外的训练复杂度：需要单独训练或加载一个编码器-解码器，而VAE本身的重建质量会成为整个系统的上限——如果VAE丢失了图像中的某些细节，无论扩散模型多强大，最终输出也无法恢复这些信息。此外，潜空间并非完美对齐语义，潜在表征的分布特性也可能给扩散训练带来隐性的偏差。

绕开VAE，直观上可以消除这些中间环节带来的信息损失和架构耦合，让模型更端到端。但真正的挑战在于：没有潜空间压缩后，如何控制计算成本、如何保证高分辨率下的生成质量，这是该类研究必须回答的核心问题。

可能的技术路径

从近年来生成模型的发展脉络看，去VAE化并非孤立尝试。业界已有若干相关思路在探索如何简化或替换潜空间组件：

• 像素空间直接扩散：直接在原始像素上做扩散，配合级联（cascaded）结构，从低分辨率逐级生成到高分辨率，以此平衡计算成本。
• 更轻量的tokenizer替代VAE：用其他形式的图像离散化或压缩手段代替VAE，减少对特定自编码器重建质量的依赖。
• 端到端的统一架构：让单一网络同时承担表征学习与生成任务，避免分阶段训练带来的误差累积。

这些路径各有取舍。放弃VAE最直接的收益是架构简化和潜在的质量天花板提升，而主要风险是训练和推理的算力需求可能回升。研究的价值正在于验证：在不牺牲（甚至提升）生成质量的同时，能否找到新的效率平衡点。

级联扩散模型（Cascaded Diffusion Models）是谷歌研究团队在2021年提出的像素空间扩散方案，代表作包括Imagen。其基本思路是先用一个基础模型生成低分辨率图像（如64×64），再通过多个超分辨率扩散模型逐级放大至最终分辨率（如1024×1024），从而将高分辨率生成的计算压力分散到多个阶段。这类架构完全在像素空间运算，不依赖VAE，但总推理步骤和模型参数量相应增加。而"轻量tokenizer"方向则受到了视觉自回归模型（如VQVAE、VQGAN）的启发，通过向量量化将图像编码为离散token序列，使生成模型可以在token空间而非连续潜空间中操作，进一步解耦表征学习与生成建模，也为多模态统一架构（如同时处理文本与图像token）奠定了基础。

对开源生态的潜在影响

对开发者和研究社区而言，去VAE的探索具有实际意义。当前基于VAE的管线已经相当成熟，但也形成了某种路径依赖——大量微调、LoRA、ControlNet等生态工具都是围绕特定潜空间构建的。若出现一套无需VAE、质量可比的训练范式，长期可能带来更灵活的模型设计空间。

不过需要客观看待的是，该话题在Hacker News上的讨论热度目前相对有限（11个赞、7条评论），说明它仍处于早期探索阶段，尚未形成行业级的共识或大规模验证。这类研究更多是为未来架构演进提供一种可能性，而非立即替代现有方案。

结语

VAE在文生图模型中扮演了多年的幕后主力，但技术栈中任何一个被默认接受的组件，都值得被重新审视。去VAE化的尝试，本质上是在追问：当前的潜空间扩散范式，究竟是最优解，还是一个历史阶段的工程妥协？答案或许需要更多实验与社区验证才能明确，但提出这个问题本身，已经为生成模型的下一轮演进打开了一扇窗。

注：本文基于Hacker News上的话题线索展开分析，原始讨论信息量有限，文中关于技术路径的讨论属于结合领域背景的延伸解读，具体实现细节请以原始论文为准。