视频生成模型如何学得更快更好：训练效率提升的关键路径

视频模型训练的效率困境

随着 Sora、Runway、Pika 等文生视频（Text-to-Video）产品的爆发，视频生成模型正成为生成式 AI 的下一个前沿。然而，与图像模型相比，视频模型的训练面临着数量级更高的计算成本和数据挑战——这也是「Getting video models to learn better, faster」这一话题引发广泛讨论的核心背景。

视频本质上是「图像 + 时间」的高维数据。一段几秒钟的视频包含数十甚至上百帧画面，模型不仅要理解每一帧的空间结构，还要建模帧与帧之间的时序连贯性。这意味着训练视频模型时，数据体量、显存占用和计算开销都远超静态图像模型。如何让模型「学得更好、更快」，已经从一个学术问题演变为决定产品能否规模化落地的工程命题。

当前视频生成领域的竞争格局也在加速推动效率优化的需求。Runway 作为最早商业化的玩家，其 Gen-2 和 Gen-3 Alpha 系列产品面向影视创作者和广告制作领域；Pika 以简洁的用户体验切入消费级市场；Kling（快影）和 Minimax 的海螺视频在中国市场快速崛起；Google DeepMind 的 Veo 2 和 Meta 的 Movie Gen 则展示了大公司的技术储备。商业化的核心挑战在于推理成本——生成一段 10 秒的高质量视频可能需要在多块 GPU 上运行数分钟，每次生成的成本可能在几美分到几十美分不等。降低训练成本最终也会传导到推理端，因为更高效的训练往往意味着更紧凑的模型和更优的推理效率。

为什么视频模型比图像模型更难训练

时空维度的双重复杂性

图像模型只需处理二维的像素分布，而视频模型必须同时捕捉空间和时间两个维度的规律。一个物体在连续帧之间的运动轨迹、光影变化、遮挡关系，都需要模型显式或隐式地学习。当这种时序建模引入 Transformer 或扩散模型架构后，注意力计算的复杂度会随着序列长度急剧上升。

这里有必要回顾 Transformer 架构在视频生成中的演进路径。Transformer 最初由 Google 在 2017 年的论文《Attention Is All You Need》中提出，用于自然语言处理中的序列到序列任务。其核心机制——自注意力（Self-Attention）——允许序列中的每个元素与所有其他元素进行信息交互，从而捕捉长距离依赖关系。Vision Transformer（ViT）在 2020 年将这一架构引入图像领域，将图像切分为固定大小的 patch 并线性映射为 token 序列。而在视频生成中，Diffusion Transformer（DiT）架构将 Transformer 与扩散模型结合，用 Transformer 替代传统的 U-Net 作为去噪网络的骨干，Sora 正是基于这一架构路线。DiT 的优势在于其良好的可扩展性——随着模型参数和计算量的增加，生成质量呈现出可预测的提升趋势，这一特性被称为 Scaling Law。

具体而言，当视频被送入 Transformer 架构时，每一帧的每个 patch 都会成为序列中的一个 token。对于一段 16 帧、分辨率 256×256 的视频，如果 patch 大小为 16×16，仅空间维度就有 256 个 token，乘以 16 帧就是 4096 个 token。而标准自注意力机制的计算复杂度为 O(n²)，这意味着序列长度翻倍，计算量将增长四倍。这也解释了为什么 Sora 等模型需要在大规模 GPU 集群上进行训练——即便使用优化后的 FlashAttention 等高效实现，视频序列的长度仍然构成了根本性的计算瓶颈。

FlashAttention 是由斯坦福大学 Tri Dao 等人提出的高效注意力实现算法，它通过分块计算（tiling）策略解决了传统注意力机制的内存瓶颈。传统自注意力需要将完整的 N×N 注意力矩阵写入 GPU 的高带宽内存（HBM），而 HBM 的读写速度远慢于 GPU 的片上 SRAM。以 NVIDIA A100 为例，其拥有 80GB 的 HBM2e 高带宽内存（带宽约 2TB/s）和每个流式多处理器（SM）约 192KB 的 SRAM（带宽约 19TB/s），SRAM 的带宽是 HBM 的近 10 倍，但容量仅为其百万分之一。FlashAttention 将注意力计算拆分为多个小块，每个小块在 SRAM 中完成计算后再写回 HBM，避免了对完整注意力矩阵的物化存储。这种 IO-aware 的算法设计使得注意力计算速度提升 2-4 倍，同时将显存占用从 O(N²) 降低到 O(N)。FlashAttention-2 和 FlashAttention-3 进一步优化了 GPU 利用率，已经成为训练大规模视频模型的标配组件。尽管如此，当视频 token 序列达到数万甚至数十万级别时，FlashAttention 带来的加速仍不足以完全消弭计算瓶颈。

训练大型视频模型时，GPU 的内存层次结构是一个不可忽视的物理约束。模型参数、优化器状态、梯度和中间激活值都需要存储在 HBM 中。一个 30 亿参数的模型在 FP32 精度下仅参数就占用约 12GB，Adam 优化器状态额外占用 24GB，加上梯度和激活值，单卡 80GB 的 HBM 很容易被耗尽。因此，分布式训练策略如 DeepSpeed ZeRO、FSDP（Fully Sharded Data Parallel）以及张量并行和流水线并行成为训练视频模型的必要手段。

数据质量与标注的瓶颈

高质量的视频-文本配对数据远比图像稀缺。互联网上的视频往往缺乏精确的字幕描述，而人工标注视频的成本极高。此外，视频中还存在大量冗余信息——相邻帧之间的差异可能非常小，如果不做有效筛选，模型会在重复内容上浪费大量算力。

以图像领域为参照，LAION-5B 数据集包含约 50 亿张图像-文本对，这些数据主要来源于互联网网页中图片的 alt 标签，获取成本相对较低。但视频领域缺乏类似的天然配对来源。YouTube 等平台的视频虽然数量庞大，但其自动生成的字幕往往与画面内容存在错位，且描述的是语音内容而非视觉内容。WebVid-10M 和 HD-VILA-100M 等视频数据集的规模与质量相比图像数据集仍有显著差距。此外，视频的存储和传输成本也远高于图像——一小时 1080p 视频可能占用数 GB 存储空间，这使得大规模数据集的构建和分发都面临基础设施挑战。为缓解这一问题，近期一些团队开始利用多模态大模型（如 GPT-4V、LLaVA-Video 等）对视频进行自动化的密集字幕生成（dense captioning），即让模型逐片段描述视频内容，从而批量生产质量尚可的视频-文本配对数据。这种「用 AI 标注 AI 训练数据」的方式正在成为视频数据构建的重要补充手段。

提升视频模型训练效率的核心方法

潜空间压缩与视频 VAE

当前主流的做法是先用一个视频 VAE（变分自编码器）将原始视频压缩到低维潜空间，再在潜空间中进行扩散或自回归训练。这一步能够显著降低计算维度。压缩比越高，训练和推理速度越快，但代价是可能损失细节。找到压缩率与保真度之间的平衡点，是工程上的关键权衡。

变分自编码器（VAE）的核心思想是学习数据的低维概率分布表示。在视频场景中，视频 VAE 通常包含一个 3D 卷积编码器，它同时在空间和时间维度上进行下采样。例如，一个空间压缩比为 8×8、时间压缩比为 4 的视频 VAE，能将原始视频的数据体量压缩至 1/256。Stable Diffusion 系列使用的图像 VAE 将 512×512 的图像压缩为 64×64 的潜表示；而视频 VAE 则在此基础上增加了时间压缩维度。OpenAI 的 Sora 据推测使用了时空联合压缩的视频 VAE，而开源社区中 Open-Sora、CogVideo 等项目也各自提出了不同的压缩方案。压缩后的潜空间保留了视频的核心语义信息，同时大幅降低了后续扩散模型需要处理的数据维度。

值得注意的是，这里所说的「扩散或自回归训练」代表了当前视频生成的两大主流技术路线。扩散路线以 Sora、Stable Video Diffusion 为代表，将整个视频作为整体进行去噪生成——其工作原理是前向过程逐步向数据添加高斯噪声直至完全变为噪声，反向过程则训练神经网络学习逐步去噪从纯噪声中恢复目标数据。扩散模型的理论根基可追溯到非平衡热力学，前向过程定义了一个马尔可夫链，在 T 个时间步内逐步向数据添加噪声，每一步的噪声调度（noise schedule）决定了信噪比的衰减速率；反向过程则学习每一步的条件概率分布以实现去噪。2020 年 DDPM（Denoising Diffusion Probabilistic Models）论文奠定了现代扩散模型的基础，随后 Latent Diffusion Models（LDM）将扩散过程迁移到 VAE 潜空间中，大幅降低计算成本。自回归路线则以逐帧或逐片段的方式生成视频，类似于 GPT 生成文本的方式，Google 的 VideoPoet 和 Meta 的部分工作探索了这一方向。两种路线各有优劣：扩散模型在全局一致性上表现更好，但推理速度较慢，且每个去噪步骤都涉及对完整视频序列的推理。

DDPM 原始论文需要 1000 步采样才能生成高质量图像，这在视频场景中更加不可接受。DDIM（Denoising Diffusion Implicit Models）通过将马尔可夫链转化为非马尔可夫过程，允许跳过中间步骤，将采样步数降低到 50-100 步。DPM-Solver 系列则利用扩散 ODE 的半线性结构设计了高阶求解器，可在 10-20 步内实现高质量生成。一致性模型（Consistency Models）和蒸馏技术更是将步数压缩到 1-4 步，这对视频生成的实时应用至关重要。自回归模型天然支持流式生成和可变长度输出，但容易累积误差导致后续帧质量下降。近期也出现了混合架构，试图兼得两者优势。

数据筛选与课程学习策略

与其把所有视频一股脑喂给模型，不如先做智能筛选。通过运动幅度、画面清晰度、内容多样性等指标过滤低价值样本，可以让模型把算力集中在真正有信息量的数据上。此外，采用课程学习（Curriculum Learning）策略——先训练短视频、低分辨率，再逐步过渡到长视频、高分辨率——也被证明能有效加速模型收敛。

课程学习的概念最早由 Yoshua Bengio 在 2009 年提出，其核心灵感来自人类学习过程——从简单到复杂逐步推进。在视频生成领域，这一策略已被多个前沿团队验证有效。例如，Stable Video Diffusion 的训练流程分为三个阶段：首先在大规模低分辨率图像上预训练，然后在精选的视频数据上进行视频微调，最后在高质量数据上进行高分辨率微调。

在数据筛选方面，多种自动化评估工具被组合使用以构建高质量训练集。光流（Optical Flow）估计是其中的核心手段之一，它指的是图像序列中像素的表观运动场，通过 RAFT、GMFlow 等算法分析相邻帧之间的像素位移来量化运动信息。光流的均值和方差是衡量视频「信息密度」的有效指标：光流均值接近零的视频通常是静态场景或监控摄像头画面，对运动建模贡献有限；而光流方差过大可能意味着剧烈的场景切换或画面抖动，这类数据同样不适合训练。除光流外，团队还使用 CLIP 评分来评估视频帧与文本描述的匹配度，使用 MUSIQ 等无参考图像质量评估模型来筛除模糊、低质量的视频。合理设定这些指标的阈值，能帮助训练集聚焦于包含自然、连贯运动的视频片段。这种精细化的数据策略有时比增加数据总量更能提升模型效果。

值得补充的是，评估视频生成模型的质量本身也是一个多维度挑战，这直接影响了数据筛选标准的制定。FID（Fréchet Inception Distance）和 FVD（Fréchet Video Distance）分别衡量生成图像和视频的分布与真实数据分布之间的距离，但它们对运动质量的敏感度有限。CLIP 评分衡量文本与视频内容的语义一致性，但难以捕捉时序连贯性。人类评估虽然最可靠，但成本高且难以标准化。近期出现的 VBench 等基准测试尝试从运动平滑度、时间一致性、美学质量、文本对齐等十余个维度进行自动化评估，为不同训练策略的比较提供了更全面的框架。

模型架构与训练技巧的协同优化

除了数据层面的优化，架构设计同样重要。分离空间注意力和时间注意力、采用分块（patchify）策略降低序列长度、使用混合精度训练和梯度检查点节省显存，这些工程手段的叠加，往往能带来数倍的训练加速效果。

分离空间注意力和时间注意力（又称分解注意力或 Factorized Attention）是当前视频 Transformer 的主流设计。具体而言，模型先在每一帧内部计算空间自注意力，再在同一空间位置跨帧计算时间自注意力。这种分解将原本 O((T×H×W)²) 的计算复杂度降低为 O(T×(H×W)² + H×W×T²)，在实际中可带来数十倍的效率提升。混合精度训练（Mixed Precision Training）通过将部分计算从 FP32 降低为 FP16 或 BF16 格式，能在几乎不损失精度的前提下将训练速度提升约 2 倍并减少一半显存占用。梯度检查点（Gradient Checkpointing）则是一种用时间换空间的策略——在前向传播时只保存部分中间激活值，在反向传播时重新计算其余部分，通常能减少 60-70% 的显存占用，代价是约 30% 的额外计算时间。这些技术的组合使用，使得在单台 8 卡 A100 服务器上训练数十亿参数的视频模型成为可能。

对视频生成行业的启示

视频模型的训练效率之争，本质上是一场算力、数据和算法三者的综合博弈。对于资源有限的团队而言，与其盲目堆算力追赶头部产品，不如在数据筛选和潜空间压缩上做精细化文章。让模型「学得更好、更快」不是单一技术突破，而是一整套系统工程的优化。

随着开源社区在视频 VAE、时序扩散架构上的持续投入，未来我们有望看到训练成本大幅下降，让更多中小团队也能参与到视频生成模型的探索中来。当前开源视频生成生态正快速发展：Open-Sora（由 HPC-AI Tech 开发）试图复现 Sora 的 DiT（Diffusion Transformer）架构并开源训练流程；CogVideo/CogVideoX（由智谱 AI 开发）基于 CogView 图像模型扩展到视频领域；AnimateDiff 通过在冻结的图像模型上插入可训练的运动模块实现视频生成；ModelScope 和 LaVie 等也提供了开源的文生视频基线。Hugging Face 的 diffusers 库已集成多个视频生成模型的推理和微调支持。这些开源项目不仅降低了视频生成的研究门槛，也为社区提供了对比和复现各种训练优化策略的平台。这或许才是这类讨论最值得关注的长期价值。

核心要点

视频模型训练复杂度远超图像：时空维度联合建模使 token 序列长度和注意力计算量呈数量级增长，即便借助 FlashAttention 等 IO-aware 优化算法，长序列仍是根本瓶颈。
数据是隐性瓶颈：高质量视频-文本配对数据稀缺，视频标注成本高昂，利用多模态大模型进行自动化密集字幕生成正成为重要补充手段。
潜空间压缩是效率关键：视频 VAE 通过 3D 卷积在空间和时间维度同时下采样，将数据体量压缩数百倍，使后续扩散或自回归训练在计算上变得可行。
数据策略有时比数据规模更重要：基于光流、CLIP 评分、图像质量评估的智能筛选，配合从易到难的课程学习策略，能显著提升单位算力的训练收益。
工程优化的叠加效应：分解注意力、混合精度训练、梯度检查点等技术的组合，可在不增加硬件投入的情况下实现数倍训练加速。
开源生态降低参与门槛：Open-Sora、CogVideoX、AnimateDiff 等项目及 diffusers 库的完善，正在让视频生成从少数巨头的专属领域走向更广泛的社区探索。