Classifier-Free Guidance
一种用于扩散模型和流匹配模型的引导技术,通过在训练时随机丢弃条件,使网络同时学习有条件和无条件分布,采样时放大条件与无条件预测之差以增强条件对齐,代价是需要两次前向计算并牺牲多样性
时间轴 (近 90 天)
理解前向是固定马尔可夫链、反向是学习去噪的对偶关系,就能看懂加速采样(如DDIM)、条件生成(如Classifier-Free Guidance)等改进的动机。
Classifier-Free Guidance通过在训练时随机丢弃条件信息,推理时调节引导尺度来平衡生成质量与条件一致性。
SteerTTS在推理时采用类似分类器引导的策略,分别渲染有条件版本和无条件版本,然后对时长、音高、能量和mel谱做外推,从而在不重新训练的情况下放大控制信号。
在TI2I中,CFG只在文本条件上做放大,等价于单方面增强'改变'方向,却没有保护'保持'的机制,从而系统性侵蚀图像条件的约束力。
Classifier-Free Guidance(CFG)是扩散模型与流匹配模型中最主流的引导技术之一,训练时以一定概率丢弃条件,采样时通过公式将条件与无条件预测相减并放大引导强度。
在TI2I流匹配任务中,CFG应用于流模型的噪声阶段(早期流步骤)时会削弱模型对编辑指令的跟随能力,而非提升质量。
该研究提出在早期流步骤中对CFG进行修正:在噪声阶段降低或重新加权CFG影响,随后逐步恢复标准CFG,该方法不需要重新训练模型也不增加推理成本,完全在采样阶段完成。
修正后的CFG方法在像素空间和潜在空间两种主流TI2I流匹配范式上均得到验证,在指令跟随和编辑可控性上有显著提升,同时保持高质量生成结果。
流匹配的'噪声阶段'或'早期流步骤'指积分刚开始、t接近0、样本仍是接近纯噪声的那几步,此阶段图像结构信息尚未成形,正是CFG行为发生反常的时间窗口。
CFG使用采样时需要两次前向计算,并会牺牲一定的多样性。
还有 12 条时间轴事件
全部知识事实 (20)
负向提示词包含过多token时,每个token在交叉注意力计算中分到的权重被稀释,导致单个约束的实际抑制效力大幅下降
85%待验证无分类器引导(Classifier-Free Guidance, CFG)的核心思想由Jonathan Ho和Tim Salimans在2022年提出
70%待验证扩散模型可通过引导(Guidance)机制实现可控生成,类似图像扩散中的Classifier-Free Guidance,无需重新训练模型
60%待验证理解前向是固定马尔可夫链、反向是学习去噪的对偶关系,就能看懂加速采样(如DDIM)、条件生成(如Classifier-Free Guidance)等改进的动机。
50%待验证Classifier-Free Guidance通过在训练时随机丢弃条件信息,推理时调节引导尺度来平衡生成质量与条件一致性。
50%待验证SteerTTS在推理时采用类似分类器引导的策略,分别渲染有条件版本和无条件版本,然后对时长、音高、能量和mel谱做外推,从而在不重新训练的情况下放大控制信号。
50%待验证在纯文本到图像生成任务中不存在需要保留的源图像,因此CFG放大文本引导的副作用不会显现;而在TI2I中该副作用会损害指令跟随精确性与编辑可控性。
50%待验证修正后的CFG方法在像素空间和潜在空间两种主流TI2I流匹配范式上均得到验证,在指令跟随和编辑可控性上有显著提升,同时保持高质量生成结果。
50%待验证流匹配的'噪声阶段'或'早期流步骤'指积分刚开始、t接近0、样本仍是接近纯噪声的那几步,此阶段图像结构信息尚未成形,正是CFG行为发生反常的时间窗口。
50%待验证CFG使用采样时需要两次前向计算,并会牺牲一定的多样性。
50%待验证对于TI2I这类需要平衡多种条件的任务,盲目套用生成任务的引导策略可能不是最优解。
50%待验证Classifier-Free Guidance(CFG)是扩散模型与流匹配模型中最主流的引导技术之一,训练时以一定概率丢弃条件,采样时通过公式将条件与无条件预测相减并放大引导强度。
50%待验证在TI2I流匹配任务中,CFG应用于流模型的噪声阶段(早期流步骤)时会削弱模型对编辑指令的跟随能力,而非提升质量。
50%待验证在TI2I中,CFG只在文本条件上做放大,等价于单方面增强'改变'方向,却没有保护'保持'的机制,从而系统性侵蚀图像条件的约束力。
50%待验证该研究提出在早期流步骤中对CFG进行修正:在噪声阶段降低或重新加权CFG影响,随后逐步恢复标准CFG,该方法不需要重新训练模型也不增加推理成本,完全在采样阶段完成。
50%待验证分类器自由引导(CFG)用无条件预测充当弱信号,而 autoguidance 用弱模型充当弱信号
50%待验证Classifier-Free Guidance技术由Jonathan Ho和Tim Salimans于2022年提出,允许模型在推理时通过调节引导强度参数平衡生成图像的多样性和与文本提示的一致性
50%待验证Classifier-Free Guidance技术允许模型调整遵循提示词的程度,引导强度越高结果越贴近文字描述,但过高会导致色彩过饱和、细节失真
50%待验证CFG推理时分别进行有条件预测和无条件预测,通过公式output = uncond + guidance_scale × (cond - uncond)进行插值放大,代价是每步需要两次前向传播
50%待验证负面指令起到类似分类器自由引导(Classifier-Free Guidance)的作用,显式压低某些输出模式的概率
50%