VQ-VAE
由DeepMind于2017年提出的向量量化变分自编码器，将连续潜在表征量化映射至有限离散码本，广泛用于生成模型与序列建模
核心事实
时间轴 (近 90 天)
IRIS使用VQ-VAE或类似分词器将观测压缩成离散token序列，再用自回归Transformer建模token之间的转移。
NCM将VQ-VAE机制扩展到多层码本，每层负责不同抽象粒度，粗层码本条目少而语义宽泛，细层条目多而表达具体。
NCM使用VQ-VAE将文本压缩成多层次的离散码，粗层对应段落或语义主题级别抽象，细层对应更具体的表达细节。
VQ-VAE的核心是一个可学习的码本，包含若干离散向量；编码器输出连续表征后，每个位置被替换为码本中距离最近的向量（最近邻量化）。
VQ-VAE训练时通过直通估计器把梯度从解码器回传到编码器，并用承诺损失约束编码器输出靠近所选码本向量。
码本坍缩是VQ-VAE的常见失败模式，指只有少数码本条目被使用，其余成为死码；常用缓解手段包括指数移动平均更新、码本重置和多样性正则。
码本坍塌的常见缓解手段包括指数移动平均更新码本、重启未激活码字、以及为码本使用引入熵正则或承诺损失。
VQ-VAE是一类将连续表征离散化的生成模型，其核心机制是维护一个可学习的码本，通过最近邻查找将连续向量替换为离散向量，再由解码器重建输入。
VQ-VAE采用直通估计器将梯度从解码器回传至编码器，训练目标通常包含重建损失、码本对齐损失和承诺损失三项。
VQ-VAE训练对码本大小和初始化敏感，容易出现码本坍塌，即只有少数码字被激活，大部分码字闲置。
还有 3 条时间轴事件
全部知识事实 (15)
逆向渲染本质上是一个病态优化问题，同一张照片可由无数种光照与材质组合生成，需要强先验约束
75%待验证IRIS使用VQ-VAE或类似分词器将观测压缩成离散token序列，再用自回归Transformer建模token之间的转移。
50%待验证码本坍缩是VQ-VAE的常见失败模式，指只有少数码本条目被使用，其余成为死码；常用缓解手段包括指数移动平均更新、码本重置和多样性正则。
50%待验证NCM将VQ-VAE机制扩展到多层码本，每层负责不同抽象粒度，粗层码本条目少而语义宽泛，细层条目多而表达具体。
50%待验证NCM使用VQ-VAE将文本压缩成多层次的离散码，粗层对应段落或语义主题级别抽象，细层对应更具体的表达细节。
50%待验证VQ-VAE的核心是一个可学习的码本，包含若干离散向量；编码器输出连续表征后，每个位置被替换为码本中距离最近的向量（最近邻量化）。
50%待验证VQ-VAE训练时通过直通估计器把梯度从解码器回传到编码器，并用承诺损失约束编码器输出靠近所选码本向量。
50%待验证NCM的tokenizer（VQ-VAE）和生成器（Transformer）是分开独立训练的，这可能限制整体性能。
50%待验证码本坍塌的常见缓解手段包括指数移动平均更新码本、重启未激活码字、以及为码本使用引入熵正则或承诺损失。
50%待验证VQ-VAE是一类将连续表征离散化的生成模型，其核心机制是维护一个可学习的码本，通过最近邻查找将连续向量替换为离散向量，再由解码器重建输入。
50%待验证VQ-VAE采用直通估计器将梯度从解码器回传至编码器，训练目标通常包含重建损失、码本对齐损失和承诺损失三项。
50%待验证VQ-VAE训练对码本大小和初始化敏感，容易出现码本坍塌，即只有少数码字被激活，大部分码字闲置。
50%待验证离散tokenization方案通常依赖VQ-VAE或VQ-GAN等量化编码器，会在图像生成过程中牺牲视觉保真度
50%待验证VQ-GAN在VQ-VAE基础上引入了对抗训练和感知损失（perceptual loss），成为DALL-E、Parti等模型中视觉tokenizer的技术基础
50%待验证VQ-VAE（Vector Quantized Variational Autoencoder）由DeepMind于2017年提出，将连续潜在表征量化映射至有限离散码本
50%