DMD

分布匹配蒸馏（DMD）通过教师模型的评分与在线批评者对学生分布评分的差异来训练学生模型。

传统DMD训练中，批评者被要求建模一个与步数无关的学生输出混合分布。

批评者的容量与条件信息设计是DMD蒸馏的通用瓶颈，而非特定任务的偶然现象。

DMD（分布匹配蒸馏）是一种把多步扩散模型蒸馏为极少步数（通常4-8步）生成器的加速技术。