Sora
OpenAI推出的AI视频生成工具,采用视频扩散Transformer架构,能够理解物理世界的运动规律生成高质量视频
核心事实
时间轴 (近 90 天)
与视频生成模型(如 Sora)不同,世界模型强调因果性与可交互性:用户行为会改变后续生成内容。
Genie 系列是 DeepMind 的世界模型系列,OpenAI 的 Sora 部分被视为世界模拟器雏形。
近年世界模型术语被生成式AI领域借用,指代能够生成可交互、可探索三维动态环境的模型,代表性工作包括 Google DeepMind 的 Genie 系列、OpenAI 的 Sora(部分被视为世界模拟器雏形)以及各类可玩视频生成研究。
DiT已成为许多先进扩散模型(如Sora)的基础架构。
GenBox 的视频生成曾因轮询负载均衡将状态检查请求发到非创建作业的资源而返回“not found”,修复方式是将每个视频片段从创建到下载全程固定在同一资源上。
Tavus、HeyGen、Synthesia 等公司专注数字人视频方向;Runway、Pika、Sora 等聚焦通用文生视频。
AI生成广告指利用大语言模型(如GPT系列)和图像/视频生成工具(如Stable Diffusion、Sora等)批量生产政治宣传内容的做法。
OpenAI正在与一家初创公司谈判,计划将搁置的视频生成AI Sora移交给该公司;这家初创公司由杰弗里·卡岑伯格、比尔·皮布尔斯以及Dropbox前首席财务官苏杰·贾斯瓦于数月前创立。
'Sora在某些物体类型上产生不一致的运动物理'比'Higgsfield排名高于Sora'更具可操作性。
OpenAI的Sora和Meta的V-JEPA等模型在视频预测和物理推理方面展现了世界模型的雏形。
还有 40 条时间轴事件
全部知识事实 (20)
OpenAI的Sora采用扩散Transformer架构,以高质量文生视频著称
90%已验证当前主流的文生视频模型普遍基于扩散模型架构,通过在时间维度上扩展图像生成能力来产生连贯的视频帧序列
80%已验证Sora采用DiT(Diffusion Transformer)架构,将视频压缩为时空patch序列后输入Transformer,以Transformer替代传统U-Net作为去噪骨干网络
80%已验证万象(Wan)视频生成模型基于 DiT(Diffusion Transformer)架构
80%已验证FLUX采用了DiT(Diffusion Transformer)架构,用纯Transformer替代了传统的U-Net结构
80%已验证跨镜头角色一致性长期是AI视频生成最核心的技术难题
80%已验证DiT是Stable Diffusion 3、FLUX等新一代生成模型的基础架构
75%已验证静态图像转化为动态视频(Image-to-Video)的代表性技术包括Runway Gen系列、Kling(可灵)、Sora等
75%已验证扩散模型成为Stable Diffusion、DALL-E 3等主流工具的底层架构
70%已验证每生成一段10秒的高质量AI视频,所消耗的GPU计算资源可能是生成一张图片的数十倍
70%已验证AI视频工具市场正在形成通用AI视频工具与垂直AI工具两条路线之争
70%已验证AI视频工具如即梦、可灵、Runway的底层架构是扩散模型(Diffusion Model),通过逐步去噪的方式从随机噪声中生成视频帧
65%已验证2024年初OpenAI发布Sora的技术预览,展示了长达60秒的高保真视频生成能力
75%待验证2023年后,以Stable Video Diffusion、Sora为代表的时序扩散模型开始将视频理解为时空连续体,能够在潜空间中同时建模多帧之间的运动关系
85%待验证Mira Murati主导了GPT-4、DALL-E、Sora等多个旗舰产品的研发落地
85%待验证Seedance 2.0属于视频扩散模型(Video Diffusion Model),底层原理与Stable Diffusion、Sora等模型类似
80%待验证OpenAI Sora基于Diffusion Transformer架构,在视觉质量上取得突破但仍频繁出现液体无故消失、刚体穿透等物理幻觉
80%待验证Sora、Stable Video Diffusion等前沿视频生成模型均采用DiT或其变体
70%待验证即梦视频生成插件采用了类似Sora的视频大模型架构,在图像扩散模型基础上增加了时间维度的一致性约束
70%待验证2024年初OpenAI展示的Sora模型能够生成长达一分钟的高清视频
60%