视频生成
利用生成模型从文本或图像等条件生成视频内容的技术,处理时空 token 序列,面临注意力计算二次复杂度带来的推理成本问题。
核心事实
时间轴 (近 90 天)
SparsePR是一种免训练的稀疏注意力机制,面向视频生成与世界模型两类负载,不改变模型权重、不增加训练阶段,直接在推理时对注意力计算做稀疏化。
一段10秒、每秒24帧、每帧256个token的视频会产生超过6万个token,注意力矩阵规模达到数十亿元素。
未来工作或可探索更复杂的隐式推理结构,以及将LARC扩展到视频、3D等更多连续模态生成任务中。
首尾帧控制的技术难点在于两端约束互相拉扯,复杂运镜或大幅场景变化时容易出现中间段动作抖动、物体形变或语义漂移。
一致性审查(如人物变脸、动作接不上)是当前视频生成领域的开放难题。
视频类生成按秒计费,一次误渲染可能产生可观开销。
视频生成通常比图片生成贵,提交前应检查显示的费用是否在预算内。
GeoState的解耦思路可能影响具身智能(智能体运动与环境动态的分离建模)和视频生成(视角控制与内容生成的解耦)等更广泛的方向。
AI视频生成不是打破香农极限,而是用一个熵低得多的目标(感知可信)替换熵极高的目标(物理精确)
真实世界的视频位于一个相对低维的流形上,其有效自由度远低于其原始像素数
还有 12 条时间轴事件
全部知识事实 (20)
生成一段8秒、24帧/秒的视频意味着模型需要在时间轴上同时保持192帧画面的语义一致性,计算量约为同分辨率单张图像的数十倍
90%已验证视频生成模型相比图像生成对算力的需求往往高出一个数量级
75%待验证SparsePR是一种免训练的稀疏注意力机制,面向视频生成与世界模型两类负载,不改变模型权重、不增加训练阶段,直接在推理时对注意力计算做稀疏化。
50%待验证一段10秒、每秒24帧、每帧256个token的视频会产生超过6万个token,注意力矩阵规模达到数十亿元素。
50%待验证首尾帧控制的技术难点在于两端约束互相拉扯,复杂运镜或大幅场景变化时容易出现中间段动作抖动、物体形变或语义漂移。
50%待验证一致性审查(如人物变脸、动作接不上)是当前视频生成领域的开放难题。
50%待验证视频类生成按秒计费,一次误渲染可能产生可观开销。
50%待验证视频生成通常比图片生成贵,提交前应检查显示的费用是否在预算内。
50%待验证GeoState的解耦思路可能影响具身智能(智能体运动与环境动态的分离建模)和视频生成(视角控制与内容生成的解耦)等更广泛的方向。
50%待验证真实世界的视频位于一个相对低维的流形上,其有效自由度远低于其原始像素数
50%待验证AI视频生成不是打破香农极限,而是用一个熵低得多的目标(感知可信)替换熵极高的目标(物理精确)
50%待验证上下文遗忘导致的错误往往在已付费生成视频之后才被发现,视频生成是整个流程中最烧钱的环节
50%待验证手指、牙齿等解剖细节在更大模型下仍难完美呈现,因这些局部结构在训练数据中变化极大、形变复杂
50%待验证参考图在人物特征、光影风格上不一致会导致视频生成出现闪烁、变形和身份漂移
50%待验证长流水线累积开销可能相当可观,是此类开源项目从演示原型走向生产可用时最常遭遇的瓶颈
50%待验证评估端到端 AI 视频生成系统实用价值需关注生成质量、可控性、推理成本和故障率等维度
50%待验证视频生成的评估需要考虑时间一致性、运动合理性和镜头语言等维度,技术难度显著高于图像评估
50%待验证训练视频生成模型所需的数据集通常动辄数十甚至数百GB
50%待验证视频生成是当前AI领域中计算密度最高、数据需求最大的任务之一
50%待验证视频续写需要在时间维度上保持严格的一致性,包括角色外观、运动轨迹、物理规律和场景光照等多个层面
50%