VLA模型
近年机器人学习的重要范式,将大型视觉语言模型(VLM)的表征能力迁移至机器人控制任务,利用互联网规模的预训练知识提升策略泛化能力
核心事实
时间轴 (近 90 天)
一项针对视觉-语言-动作(VLA)模型的研究显示,摄像头视野中的一块贴片会降低模拟机器人测试的任务成功率。
VLA(Vision-Language-Action)模型是一类将视觉感知、自然语言理解和动作生成统一在一个端到端架构中的多模态模型,通常以图像序列和语言指令作为输入,直接输出机器人关节角度、末端执行器位姿或离散动作 token。
VLA模型对训练时的相机配置过度依赖,一旦部署环境中相机数量或位姿变化,模型性能可能急剧下降。
当前主流VLA模型通常将多路RGB图像直接拼接或按固定顺序输入策略网络,隐含假设训练和测试时相机数量、安装位置、内外参完全一致。
论文的验证都在构造的诊断环境和合成数据上完成,真实物理机器人和VLA(Vision-Language-Action)模型上的验证仍是待完成工作
全部知识事实 (7)
VLA将预训练的视觉-语言模型与机器人动作策略直接对接,使机器人能够将自然语言指令、摄像头图像与低级运动控制统一处理
90%已验证VLA(Vision-Language-Action)模型是一类将视觉感知、自然语言理解和动作生成统一在一个端到端架构中的多模态模型,通常以图像序列和语言指令作为输入,直接输出机器人关节角度、末端执行器位姿或离散动作 token。
75%已验证该模型属于视觉-语言-动作(VLA)模型的范畴,将视觉编码器、语言理解模块与动作预测头统一在端到端架构中
75%待验证一项针对视觉-语言-动作(VLA)模型的研究显示,摄像头视野中的一块贴片会降低模拟机器人测试的任务成功率。
50%待验证VLA模型对训练时的相机配置过度依赖,一旦部署环境中相机数量或位姿变化,模型性能可能急剧下降。
50%待验证当前主流VLA模型通常将多路RGB图像直接拼接或按固定顺序输入策略网络,隐含假设训练和测试时相机数量、安装位置、内外参完全一致。
50%待验证论文的验证都在构造的诊断环境和合成数据上完成,真实物理机器人和VLA(Vision-Language-Action)模型上的验证仍是待完成工作
50%