自动驾驶训练数据从哪来？Cosmo 3用场景图生成多传感器数据

训练自动驾驶模型时，一个核心难题始终绕不开：高质量训练数据从哪里来？ 真实路测成本高、长尾场景稀缺，而纯仿真又常因不够逼真导致模型迁移困难。在最近一段技术分享中，Cosmo 3 给出了一种值得关注的解法——通过世界场景图控制生成，并同时输出 RGB 与 LiDAR 数据，让闭环仿真持续产生训练样本。

为什么自动驾驶训练数据难以获取

自动驾驶模型需要覆盖极端的天气、光照、突发障碍物等长尾场景，而这些场景在真实道路中出现的概率极低。靠实车采集，意味着漫长的路测周期和昂贵的标注成本；靠传统仿真，又往往在传感器真实感上打折扣。Cosmo 3 的出发点正是填补这个缺口：用生成式方法按需产出可控、多模态、可连续演进的驾驶数据。

据该技术分享介绍，Cosmo 3 for autonomous driving 的核心能力是"通过世界场景图控制生成"——开发者可以基于场景图描述来约束生成内容，而不是被动接受随机采样结果。

Cosmo 3 的三项关键能力

1. 世界场景图驱动的可控生成

世界场景图本质上是对场景中物体、道路结构、相对关系的结构化描述。以它为条件，生成模型产出的数据能与预设的驾驶情境对齐，这让"定向补数据"成为可能——缺什么场景，就生成什么场景，而不是碰运气。

世界场景图（World Scene Graph） 是一种将三维场景抽象为节点与边的结构化表示：节点对应场景中的实体（如车辆、行人、交通标志、路面），边表示实体之间的空间或语义关系（如“位于左侧”“朝向自车”）。相比直接输入一张参考图或一段文本，场景图把“场景里有什么、它们如何摆放”显式拆解为可编辑的符号结构，因此可以精确增删物体、调整布局，而不影响其他部分。在生成式模型中，场景图通常作为条件输入，通过图神经网络或交叉注意力注入到扩散/自回归生成过程中，从而约束输出与预设情境一致。这也是“缺什么补什么”的定向数据生成得以实现的基础。

2. RGB 与 LiDAR 的同步一致生成

多传感器融合是自动驾驶感知的主流方案，但不同传感器数据之间的时空对齐一直是仿真难点。Cosmo 3 强调"同时且一致地生成 RGB 传感器与 LiDAR 传感器输出"，意味着图像与点云在内容上相互对应，而非各自独立生成后再硬对齐。

LiDAR 点云由激光雷达发射脉冲并测量回波时间获得，输出的是带反射强度的三维点集合，稀疏、无序且视角相关；RGB 图像则是规则网格上的稠密像素。两种模态在数据结构上差异巨大，传统做法是分别渲染再通过标定参数对齐，容易出现几何错位或语义矛盾（如图像中有车而点云中缺失）。同步一致生成要求模型在同一个场景隐表示下联合解码两种模态，使图像中的物体轮廓与点云中的点簇在三维空间上严格对应。常用思路是共享中间的三维特征场或体素表示，再分别投影到相机平面和激光雷达扫描模式，从而保证时空对齐。

3. 面向闭环仿真的连续生成

单帧数据只能做感知训练，闭环仿真则要求场景随时间连续演化、并对自车行为做出响应。Cosmo 3 提供的连续生成能力，正是为闭环仿真场景准备的——模型在仿真中行动，环境持续生成新的观测，形成可迭代的训练回路。

闭环仿真与开环回放的关键区别在于：仿真环境会根据自车的决策实时产生新观测，而自车又基于这些观测更新决策，形成反馈回路。这对生成模型提出了时序一致性的要求——相邻帧之间的场景布局、物体运动轨迹、光照变化必须平滑连贯，不能每帧独立随机采样。通常需要引入历史帧作为条件、维护场景状态的隐变量，并保证生成速度满足仿真实时或准实时需求。闭环仿真能暴露开环数据无法发现的错误累积问题，因此被视为验证端到端自动驾驶模型的重要环节。

对自动驾驶数据管线意味着什么

这三项能力组合起来，指向的是一条"生成式数据管线"：用场景图定义需求，用多传感器一致生成保证数据质量，用连续生成支撑闭环验证。相比纯真实数据采集，它的优势在于可控性和可扩展性；相比传统仿真，它的优势在于内容逼真度和模态完整性。

当然，生成数据能否完全替代真实路测，仍取决于生成内容的物理一致性与分布覆盖度，这需要在实际训练中验证。

开放体验与后续观察

分享者表示相关能力已全部开放，并邀请开发者试用反馈（"We open up everything and I hope you give it a try"）。对于正在搭建自动驾驶数据管线的团队，这类工具值得纳入评估清单——重点观察生成数据在下游感知任务上的迁移效果，以及闭环仿真中的稳定性表现。

本文基于公开技术分享整理，具体能力与开放范围请以官方说明为准。