为何只有Google做好了视频理解大模型？数据、架构与成本的三重壁垒

一个被忽视的AI能力短板

在多模态大模型（LMM, Large Multimodal Model）的竞赛中，文本、图像乃至音频的理解能力已经成为各家厂商的标配。多模态大模型是指能够同时处理和理解多种信息形式（模态）的人工智能模型——传统的大语言模型（LLM）最初只能处理文本，而多模态模型则将能力扩展至图像、音频、视频等。实现多模态的技术路径主要有两种：一是在预训练的文本模型基础上通过连接器接入视觉编码器的"后融合"架构；二是从训练之初就同时输入多种模态数据的"原生多模态"架构。两种路径在视频理解上的表现差异，正是本文讨论的核心之一。

然而，当话题转向视频输入的理解与推理时，情况却出现了明显的分化。一位Reddit用户抛出了一个颇具代表性的疑问：

"为什么似乎只有Google做出了像样的视频理解/推理模型？Anthropic、OpenAI等（不清楚中国厂商情况）似乎都没有推出好用的视频模型。是算力问题？投入产出比问题？还是数据可用性问题？"

这个问题触及了当前多模态AI发展中的一个关键盲区。事实上，Google的Gemini系列在原生视频理解上确实建立了显著领先优势，而这背后的原因远比"谁更努力"要复杂。

Google的视频理解优势从何而来

得天独厚的YouTube数据资产

讨论Google在视频领域的领先，绕不开一个关键因素：YouTube。作为全球最大的视频平台，YouTube每分钟有超过500小时的视频被上传，平台累计视频量以十亿计。它为Google提供了几乎无可比拟的视频训练数据来源——不仅有海量的视频内容，更重要的是配套的字幕、标题、描述、标签乃至用户评论，构成了天然的"视频-文本"配对数据集。

多模态模型的训练高度依赖跨模态的对齐数据。跨模态对齐（Cross-modal Alignment）是多模态学习的核心概念，指的是让模型学会将不同模态中语义相同的信息映射到共享的表征空间中。这一方向的里程碑工作是OpenAI在2021年发布的CLIP（Contrastive Language-Image Pre-training）模型，其核心思想是通过对比学习将图像和文本投射到同一个向量空间中，使语义相近的图文对在空间中距离更近，语义无关的图文对距离更远。CLIP使用了4亿个从互联网爬取的图文对进行训练，展现出强大的零样本迁移能力——无需针对特定任务微调即可完成图像分类、检索等下游任务。后续的多模态模型如LLaVA、Flamingo等都以CLIP的视觉编码器（通常是ViT-L/14）作为基础组件，将其提取的视觉特征作为语言模型的输入。然而CLIP本质上是帧级别的对齐，每次只能处理单张图像，无法直接建模视频的时序语义，这催生了VideoCLIP、InternVideo等专门针对视频-文本对齐的方法。但视频-文本对齐面临更大挑战：视频的时序特性意味着对齐不仅要发生在空间层面，还需要在时间层面精确匹配——哪段文本对应视频的哪个时间段，这需要远比图文配对更精细的标注数据。

图像领域有大量的图文配对（如网页中的图片与alt文本），但高质量的"视频-文本"配对数据在公开互联网上极为稀缺。而YouTube的自动语音识别（ASR）系统能为绝大多数视频生成时间戳精确对齐的字幕，这本质上提供了"视频帧-语音文本"的细粒度时序对齐。此外，YouTube还拥有内容分类体系、视频章节标记、用户互动数据（点赞、评论、观看时长）等信号，这些都可以作为弱监督信号用于训练。Google DeepMind此前的研究（如Flamingo、VideoPoet等）就大量使用了YouTube数据，这种数据积累是长期战略性投入的结果。这是OpenAI、Anthropic难以在短期内复制的结构性优势。

原生多模态架构的设计选择

Gemini从设计之初就被定位为"原生多模态"模型，即在预训练阶段就同时接入文本、图像、音频和视频等多种模态，而非在文本模型基础上后期拼接视觉编码器。这种架构上的差异，使得Gemini对视频这类时序信息密集的输入有更好的原生理解能力。

具体而言，后融合架构（如LLaVA、GPT-4V的早期版本）的工作方式是：先用预训练好的视觉编码器将图像转换为一系列视觉token，再通过轻量级对齐模块（如线性投影层或Q-Former）映射到语言模型的嵌入空间中，最后由语言模型统一处理。这种方式的优点是可以复用成熟的文本和视觉模型，训练成本较低；缺点是视觉和语言的融合发生在较浅层，模型难以学习到深层的跨模态交互模式——视觉信息在进入语言模型之前已经被压缩和固化，语言模型无法反过来"引导"视觉编码器关注特定区域。原生多模态架构则在Transformer的每一层都允许不同模态的信息相互注意（Cross-Attention或统一的Self-Attention），使得模型能从底层开始学习模态间的关联，这对视频中画面、声音、文字同步出现的复杂场景尤为重要。

视频不同于静态图像的关键在于时间维度——理解视频需要模型捕捉帧与帧之间的运动、因果和事件演进关系。这对模型的上下文长度和时序建模能力提出了极高要求。Gemini在长上下文窗口上的持续投入（百万级token），恰好为处理长视频提供了基础设施支撑。Gemini 1.5 Pro支持最高100万token的上下文窗口，后续版本甚至探索了200万token。实现超长上下文的关键技术包括：Ring Attention——一种分布式注意力计算方法，其核心思想是将输入序列切分为多个块，分布在环形拓扑连接的多个计算设备上，每个设备只计算本地块的注意力分数，同时通过环形通信传递KV缓存给相邻设备，从而将单设备的内存开销从O(n²)降低到O(n²/d)，其中d为设备数量；基于Mixture-of-Experts（MoE）的稀疏激活架构——通过路由机制（通常是一个轻量级门控网络）将每个token分配给少数几个专家子网络处理，使模型总参数量可以很大（如超过万亿参数）但每次推理只激活其中一小部分（如每个token仅激活2个专家），Switch Transformer和Mixtral是MoE架构的代表性工作；以及改进的位置编码方案（如RoPE的外推能力优化，通过调整频率基数或引入NTK-aware插值来让模型在推理时能处理比训练时更长的序列）。Google的TPU v5e集群配合这些技术组合，使得Gemini能够一次性"读入"长达数小时的视频内容并进行全局推理，而非仅处理短片段。

为何OpenAI和Anthropic等厂商暂时落后

算力与成本的现实约束

视频是所有模态中信息密度最高、处理成本最高的形式。一分钟的视频若按每秒采样若干帧计算，可能相当于数百张图像的处理量。训练和推理视频模型的算力开销，远超纯文本或图像模型。

视频token化是将连续视频流转换为离散token序列的过程，以便Transformer架构处理。主流方法包括：均匀采样关键帧后用ViT编码（最简单但信息损失大）、使用3D卷积网络（如C3D、SlowFast）提取时空特征（能捕捉局部运动模式但感受野有限）、或使用视频VQ-VAE进行压缩。视频VQ-VAE（Vector Quantized Variational Autoencoder）通过将连续的视觉特征量化为离散码本中的向量来实现高比例压缩，其3D变体会同时对空间和时间维度进行量化，每个视频片段被表示为一个离散token的三维网格。Google的MAGVIT-2展示了这种方法在视频压缩上的卓越性能，能将视频压缩到极低的token率同时保持可重建质量。另一种广泛采用的方案是使用预训练ViT对采样帧逐帧编码，再通过时序聚合模块（如Q-Former、Perceiver Resampler）将帧级特征压缩为固定数量的视频token。核心矛盾在于：采样率越高，保留的时序信息越完整，但产生的token数量呈线性甚至二次方增长（注意力计算的复杂度为序列长度的平方）。一段10分钟的视频若按每秒2帧采样、每帧产生256个token计算，总token量将超过30万——这远超大多数模型的上下文窗口限制，因此需要时序池化、动态帧选择或层次化编码等高效压缩策略。

对于OpenAI、Anthropic这样的厂商，在算力资源有限的前提下，优先投入到用户需求最旺盛、商业回报最直接的场景（如代码生成、文本对话、图像理解）是理性的选择。视频理解虽然前景广阔，但目前的**投入产出比（ROI）**尚不明朗，短期内难以成为核心竞争战场。

视频数据壁垒的结构性差异

如前所述，视频-文本配对数据的获取门槛极高。不掌握大型视频平台的厂商，需要通过购买、爬取或合成的方式构建训练集，成本和质量都难以与YouTube的天然数据相比。这构成了一道难以逾越的数据护城河。

你可能没注意到，OpenAI在视频生成领域（Sora）反而表现出色，这说明其并非缺乏视频领域的技术积累，而是在视频理解与推理方向上尚未投入同等资源。视频生成（如Sora、Runway Gen-3）主要基于扩散模型（Diffusion Model）或自回归生成架构。扩散模型的工作原理是通过正向过程逐步向数据添加高斯噪声直至变为纯噪声，然后训练一个去噪网络学习逆向过程——从随机噪声中逐步还原出清晰的视频。在视频生成中，去噪过程需要同时保证空间质量（每帧的视觉保真度）和时间一致性（帧间的流畅过渡和物理规律的遵守）。Sora采用的是在潜空间（Latent Space）中操作的扩散Transformer（DiT）架构，先用编码器将视频压缩为时空patches的潜在表示，再在这个低维空间中进行扩散建模，最后通过解码器还原为像素空间的视频。而自回归方法（如Google的VideoPoet）则将视频视为token序列，像生成文本一样逐个预测下一个视频token。两种方法在训练信号上有本质区别：扩散模型学习的是噪声预测（给定含噪输入预测所加噪声），自回归模型学习的是下一个token预测（给定前文预测后续），这导致它们在生成质量、推理速度和可控性上各有优劣。

视频理解则要求模型从视频中提取语义信息、进行逻辑推理和知识整合——例如回答"视频中的人为什么突然转身"这样的因果推理问题。前者的评估偏向美学质量和物理一致性（FVD、FID等指标），后者的评估偏向语义准确性和推理深度（如Video-MME、MVBench等基准测试）。两者虽然都涉及视频数据，但所需的模型能力、训练目标和评估体系截然不同，OpenAI在Sora上展现的视频时空建模能力（理解物理世界的运动规律和视觉外观）并不能直接迁移到视频理解任务上（需要语义抽象、逻辑推理和常识运用）。

视频理解大模型的核心技术难点

跨帧时序推理的复杂性

视频理解的核心挑战不在于"看懂每一帧"，而在于跨帧的推理。例如判断一个动作的意图、理解一段对话的上下文、追踪物体的运动轨迹——这些都需要模型在时间维度上进行整合与推理。这远比理解一张静态图片困难。

从技术角度看，跨帧推理要求模型具备多种能力的组合：时序因果建模（A事件导致B事件，如"杯子被撞倒"导致"水洒在桌上"）、物体恒常性追踪（即使目标被短暂遮挡也能持续识别）、动作语义理解（区分"拿起"和"放下"这类时序相反的动作）、以及长程依赖捕捉（视频开头的线索可能在结尾才显现意义）。

物体恒常性（Object Permanence）原本是认知科学中描述婴儿认知发展阶段的概念——约8个月大的婴儿开始理解物体即使暂时看不见也仍然存在。在视频理解中，这要求模型能够在目标被其他物体遮挡、暂时离开画面或外观发生剧烈变化（如光照改变、视角转换）时，仍能正确识别和持续追踪同一物体。技术上，这涉及到视觉跟踪（如Meta的SAM 2实现的视频分割能力，通过记忆机制在帧间传播分割掩码）、Re-ID（重识别）技术（学习不同视角和时间下同一目标的鲁棒特征表示）、以及基于外观-运动联合建模的关联方法（同时利用物体的视觉特征和运动轨迹来进行跨帧匹配）。当前的多模态大模型在这方面仍有显著不足，尤其是在长时间遮挡和多目标密集交互的复杂场景中。

当前主流的自注意力机制在处理超长序列时计算复杂度为O(n²)——具体来说，对于长度为n的序列，注意力矩阵需要计算n×n个注意力分数，内存占用和计算量都随序列长度的平方增长。这使得直接对所有帧进行全局注意力变得不切实际（例如30万个token意味着900亿个注意力分数需要计算和存储），研究者因此探索了分层注意力（先在帧内计算局部注意力，再在帧间计算全局注意力）、稀疏注意力（如Longformer的滑动窗口+全局token机制，只让部分token对进行注意力计算）、以及基于状态空间模型（Mamba）的线性复杂度替代方案等折中方案。

超长上下文窗口的挑战

处理一段完整视频往往意味着需要极长的上下文窗口。如何在保持推理质量的同时压缩视频信息、如何高效地对视频帧进行token化，都是尚未完全解决的工程与算法难题。Google在长上下文技术上的领先，间接支撑了其视频能力的建立。

当前的解决思路主要有三个方向：一是"先压缩后推理"，通过视频摘要模块（如Video-LLaMA的Video Q-Former、Chat-UniVi的动态token合并）将长视频压缩为少量关键帧或语义token后再送入LLM，优点是对LLM的上下文窗口要求低，缺点是压缩过程中不可避免地丢失了细节信息；二是"流式处理"，将视频切分为短片段逐段处理，再通过记忆机制（如外部记忆库、压缩上下文摘要）保持上下文连贯性，类似于人类看长电影时的"记住重点"策略，缺点是难以处理需要同时看到视频不同部分才能回答的问题；三是"端到端长上下文"，即直接扩展模型的上下文窗口来容纳完整视频的所有token，这是信息保留最完整的方案，但对硬件和算法的要求最高。Google的Gemini主要走第三条路线，通过硬件（TPU v5e集群的高带宽互连和大容量HBM内存）和算法（Ring Attention、MoE稀疏激活、高效KV缓存管理）的协同创新来支撑百万级token的处理能力。

未来视频理解竞争格局会如何演变

从Reddit社区的讨论可以看出，业界对视频理解的重视程度正在提升。虽然当前Google处于领先位置，但这种领先更多源于数据资产和架构选择的先发优势，而非不可逾越的技术鸿沟。

随着算力成本下降、视频数据获取方式的多元化（如合成数据、多方数据合作），以及视频理解应用场景（视频搜索、内容审核、教育、安防等）的商业价值逐渐清晰，其他厂商大概率会加速跟进。中国厂商在短视频生态上的数据积累，也可能成为未来的一支重要力量。中国拥有全球最活跃的短视频生态——抖音日活用户超过6亿，快手、B站等平台也积累了海量视频数据。字节跳动、阿里、腾讯等公司在视频推荐算法上有深厚技术积累，其推荐系统本身就依赖对视频内容的多层次语义理解——从低级的画面质量评估、中级的场景和物体识别，到高级的主题分类和情感分析，这些能力与视频理解大模型的需求高度重合。2024年以来，多家中国AI公司发布了具备视频理解能力的多模态模型，如通义千问（Qwen-VL系列支持视频输入并在多个视频理解基准上取得领先成绩）、InternVL（上海AI Lab主导，采用动态分辨率方案处理视频）、Step-1V（阶跃星辰发布，强调长视频理解能力）等。此外，中国在视频监控和安防领域的广泛应用（拥有全球最大规模的视频监控网络）也催生了大量视频分析的实际需求——异常行为检测、人员追踪、事件回溯等场景为视频理解模型提供了明确的商业化路径和落地动力，这种应用侧的拉动力可能反过来加速技术进步。

可以预见，视频理解将成为多模态大模型竞争的下一个前沿阵地。Google的领先是暂时的护城河，而非永久的壁垒。随着开源社区在视频理解方向的快速推进（如LLaVA-Video、Video-ChatGPT等开源工作不断涌现）、以及合成视频数据技术的成熟（利用视频生成模型生成带有精确标注的训练数据），数据壁垒和技术壁垒都将被逐步侵蚀。最终决定竞争格局的，可能不仅仅是谁拥有最多的视频数据或最强的模型，而是谁能最先找到视频理解能力的"杀手级应用"——将技术优势转化为不可替代的用户价值。

核心要点

• Google的视频理解领先源于结构性优势：YouTube提供了独一无二的视频-文本对齐数据资产，配合原生多模态架构和百万级长上下文窗口技术，形成了其他厂商短期内难以复制的竞争壁垒
• 视频理解的技术难度远超图像理解：跨帧时序推理、物体恒常性追踪、长程依赖建模等挑战，加上O(n²)注意力复杂度对超长视频的处理限制，使视频理解成为多模态AI中最具难度的方向之一
• OpenAI/Anthropic的落后是策略选择而非能力缺失：在ROI尚不明朗的情况下，优先投入文本和图像能力是理性的商业决策；视频生成（Sora）和视频理解需要截然不同的模型能力
• 竞争格局即将重塑：算力成本下降、合成数据技术成熟、开源生态推进、中国短视频平台的数据积累，都在削弱Google的先发优势，视频理解将成为下一个多模态竞争的前沿阵地