VAE

Stable Diffusion将扩散过程从像素空间压缩至潜在空间，由变分自编码器（VAE）实现

Latent Diffusion通过VAE将图像从512×512×3的像素空间压缩到64×64×4的潜空间表示，数据量缩减约48倍

VAE（变分自编码器）在扩散模型管线中承担图像压缩与解码角色，将潜空间表示还原为像素级图像

Stable Diffusion 通过 VAE 将 512×512×3 的图像压缩为 64×64×4 的潜在表示，压缩率达 48 倍

Latent Diffusion Model由Rombach等人于2022年提出，将扩散过程与VAE的潜在空间结合，将计算维度从512×512×3降低到64×64×4

David Ha与Schmidhuber在2018年发表了论文《World Models》，展示了智能体如何在梦境中完成强化学习训练

VAE（变分自编码器）负责在潜空间与像素空间之间做编解码，是视频/图像生成管线中显存消耗的重要环节之一

潜空间扩散架构使用变分自编码器（VAE）将图像压缩到低维潜空间，在压缩空间中执行加噪去噪，是Stable Diffusion名称的由来

概率论中的贝叶斯推断是生成模型（VAE、扩散模型）的理论根基

VAE的核心创新在于将输入编码为一个概率分布（通常为高斯分布，用均值μ和方差σ描述）而非确定的点，使潜在空间连续平滑可采样

扩散模型在生成图像时本质上是在高维潜空间（Latent Space）中进行去噪采样，缺乏多角度约束时同一角色在不同帧中的特征易产生语义漂移

Stable Diffusion将扩散过程从像素空间搬到潜在空间，通过VAE编码器将图像压缩为低维表示再去噪，降低计算开销

潜在空间生成方法（如 Stable Diffusion 所用的 VAE）先训练编码器把图像压缩到低维潜在表示，再在潜在空间做扩散或流匹配，推理时由解码器还原像素；这会引入重建误差，且潜在空间缺乏语义约束时容易出现语义漂移。

主模型（checkpoint）是包含 UNet、CLIP 与 VAE 的完整权重包，决定基础画风与能力；文本编码器负责把提示词转成条件向量；LoRA 是低秩适配的小型增量权重；VAE 负责在潜空间与像素空间之间编解码。

Diffusion模型（UNet）负责在潜空间中逐步去噪生成内容；文本编码器将提示词转换为语义向量；VAE负责在像素空间与潜空间之间编码和解码，三者版本必须相互匹配。

本地部署 MiniMax H3 需要下载五个模型文件：主模型 h3f12t8、全能参考模型 h3aef2vnt8（均选 int8 版本）、千问 minimax-h3vfp4 文本编码器，以及视频和音频两个 VAE 解码器。

Ask4NV 的联合训练改善了 VAE 表示中的跨视角对应关系。

Ask4NV 将相机几何信息注入到 VAE 与 ViT 两套表示中，使几何先验在编码阶段被显式考虑。

基础模型（Checkpoint）决定整体画风和语义理解能力，通常体积最大；VAE负责将潜空间数据解码成可见图像，直接影响成图色彩与细节，若与基础模型不匹配画面容易灰暗或色偏；LoRA是小体积微调权重，用于叠加特定角色、风格或动作，占用显存小、切换灵活。

在实验中，VAE 的潜在变量 z 可作为退化指纹，将高维传感器数据压缩为低维退化状态表示，相比原始传感器值对噪声更鲁棒。