DiT
由Meta AI于2023年提出的扩散模型架构,以Vision Transformer替代传统U-Net作为扩散模型的主干网络,具有优秀的大规模参数扩展性,被Sora等前沿视频生成模型采用
核心事实
时间轴 (近 90 天)
Ming-3-TTS-0.5B 的架构包含 24 层、0.5B 主干用 GTOA 逐帧出特征,再由 8 层 DiT 在 64 维浅空间做流匹配去噪,最后经 Odo VAE 还原 44.1kHz 波形。
DiT(Diffusion Transformer)工具包基于低出身Transformer,是业内使用率很高的核心工具。
DiT的核心思想是利用Transformer处理图像块(patch)序列,并通过自适应层归一化(adaLN)注入时间步和类别条件。
DiT开源实现通常提供预训练模型和清晰的训练脚本,适合作为学习扩散模型代码实现的入口。
DiT已成为许多先进扩散模型(如Sora)的基础架构。
DiT源码结构干净:一个Patchify层、若干DiT Block(含自适应层归一化adaLN注入时间步与类别条件)、一个线性解码层,没有U-Net中复杂的跳跃连接。
零基础学习扩散模型的推荐路线为理论线(核心数学推导→前向/反向过程→精读加速、轻量化、结构优化类论文)和实践线(DiT等轻量化工具包→逐行读源码→跑通2-3套核心代码→理解算法本质→设计创新点)。
新手学习扩散模型建议优先上手轻量化的DiT(Diffusion Transformer)工具包,因为它源码简洁清晰、内置大量现成开源模型且适配性强。
读通DiT源码可以顺带理解扩散模型的训练循环、噪声调度、采样器实现以及条件注入机制。
传统扩散模型多用U-Net做去噪网络,而DiT用纯Transformer替换U-Net,将图像切分成patch序列输入,通过自注意力建模全局依赖。
还有 40 条时间轴事件
全部知识事实 (20)
MiniMax H3是一个多模态视频生成模型,能够同时生成视频画面和匹配的音频(包括对白、音效和环境音)
90%已验证DiT由Peebles与Xie于2022年提出,将Transformer架构引入扩散过程
90%已验证H3 Minimax是Minimax公司的视频生成引擎,采用了稀疏注意力(Sparse Attention)机制
80%已验证Sora采用DiT(Diffusion Transformer)架构,将视频压缩为时空patch序列后输入Transformer,以Transformer替代传统U-Net作为去噪骨干网络
80%已验证万象(Wan)视频生成模型基于 DiT(Diffusion Transformer)架构
80%已验证FLUX采用了DiT(Diffusion Transformer)架构,用纯Transformer替代了传统的U-Net结构
80%已验证扩散Transformer(DiT)是将Transformer架构引入扩散模型的一类生成骨干网络,把带噪图像切成patch并线性嵌入为token序列,用多层Transformer块预测噪声或速度,取代传统扩散模型中的U-Net。
80%已验证DiT是Stable Diffusion 3、FLUX等新一代生成模型的基础架构
75%已验证扩散模型的反向过程通常使用U-Net或DiT(Diffusion Transformer)架构来预测每一步应去除的噪声量
75%已验证扩散 Transformer(DiT)是当前图像生成领域的主流架构,被用于 Stable Diffusion 3、FLUX 等模型
75%已验证扩散模型的去噪过程通常需要执行数十到数百次迭代(称为采样步数),每次迭代都需要完整运行一次神经网络的前向传播
75%已验证扩散变换器(Diffusion Transformer,DiT)架构最早由Meta研究院在2022年提出
75%待验证Transformer架构被引入视觉生成(如Vision Transformer、DiT架构),使模型能更好理解图像不同区域间的全局关系,适用于多模态场景中文本token和图像token的统一处理
88%待验证DiT的核心思想是利用Transformer处理图像块(patch)序列,并通过自适应层归一化(adaLN)注入时间步和类别条件。
60%待验证传统扩散模型多用U-Net做去噪网络,而DiT用纯Transformer替换U-Net,将图像切分成patch序列输入,通过自注意力建模全局依赖。
60%待验证图像生成领域正在经历从U-Net到Transformer的架构范式转移,传统扩散模型如Stable Diffusion 1.x和2.x主要依赖U-Net编码器-解码器结构
60%待验证OpenAI的Sora被广泛认为采用了类似DiT的架构
60%待验证Sora、CogVideoX等主流视频生成模型普遍采用DiT或其变体架构,标志视频生成技术从UNet时代向Transformer时代过渡
60%待验证DiT 架构用 Transformer 替代传统 U-Net 作为扩散模型骨干网络,能在 Patch 级别捕捉跨帧长程依赖关系
60%待验证OpenAI的Sora、Google的VideoPoet均采用将视频帧压缩为离散token后进行自回归预测的技术路线
60%