文本编码器
将提示词转换为模型可理解的语义向量的组件,常见的有CLIP或T5系列
时间轴 (近 90 天)
一位开发者在 Reddit 上分享的小规模复现仅使用人类撰写的 COCO 描述,在笔记本电脑上训练 1100 万参数的文本编码器,结果依然支持原结论(好视角优于下一词预测)。
该方案所需的文本编码器体积约14G,通常采用较大的T5系列编码器以支持更复杂的提示词理解。
Diffusion模型(UNet)负责在潜空间中逐步去噪生成内容;文本编码器将提示词转换为语义向量;VAE负责在像素空间与潜空间之间编码和解码,三者版本必须相互匹配。
文本编码器位于生成管线最前端,其输出误差会经过扩散模型的去噪步骤和交叉注意力机制被逐级放大(级联误差),因此编码器的量化精度损失比主干网络更致命
扩散模型(UNet/DiT主干网络)参数量大往往能承受较激进的量化,而文本编码器作为语义入口保留更高精度(如INT8甚至FP16)通常更划算
Stable Diffusion基于LAION-5B数据集训练,采用U-Net架构作为去噪骨干网络,配合CLIP文本编码器实现文本到图像的语义映射
全部知识事实 (6)
一位开发者在 Reddit 上分享的小规模复现仅使用人类撰写的 COCO 描述,在笔记本电脑上训练 1100 万参数的文本编码器,结果依然支持原结论(好视角优于下一词预测)。
50%待验证该方案所需的文本编码器体积约14G,通常采用较大的T5系列编码器以支持更复杂的提示词理解。
50%待验证Diffusion模型(UNet)负责在潜空间中逐步去噪生成内容;文本编码器将提示词转换为语义向量;VAE负责在像素空间与潜空间之间编码和解码,三者版本必须相互匹配。
50%待验证文本编码器位于生成管线最前端,其输出误差会经过扩散模型的去噪步骤和交叉注意力机制被逐级放大(级联误差),因此编码器的量化精度损失比主干网络更致命
50%待验证扩散模型(UNet/DiT主干网络)参数量大往往能承受较激进的量化,而文本编码器作为语义入口保留更高精度(如INT8甚至FP16)通常更划算
50%待验证Stable Diffusion基于LAION-5B数据集训练,采用U-Net架构作为去噪骨干网络,配合CLIP文本编码器实现文本到图像的语义映射
50%