RAGu：用检索增强让VLA模型零样本适应新场景

视觉-语言-动作（VLA）模型在大规模演示数据上预训练后，已展现出通用操作任务的潜力。然而，当部署环境与训练数据存在哪怕很小的差异——相机视角变了、背景不同、物体换了、甚至机器人形态改变——模型的表现就会急剧下滑。这几乎是所有机器人学习系统落地时绕不开的坎。

最近一篇题为《Zero-Shot VLA Adaptation with Retrieved Guidance》的工作提出了一个有意思的思路：既然语言模型可以用检索增强生成（RAG）来弥补知识短板，VLA模型为什么不能借助检索来适应新场景？

问题：VLA的泛化瓶颈在哪里

VLA模型的核心思路是把视觉感知、语言理解和动作输出统一到一个端到端网络中，通过大量机器人演示数据学习从观察到动作的映射。这类模型在训练分布内表现不错，但一旦测试条件偏离训练数据——比如训练时用的是某款机械臂、某个桌面背景，测试时换了一套设备或拍摄角度——成功率会明显下降。

传统的应对方式要么是收集目标域数据做微调，要么是扩大模型上下文窗口来“塞入”更多示例，前者成本高、后者受限于架构设计。论文作者选择了一条不同的路：从域不匹配的“野生”演示数据集中检索参考轨迹，用这些轨迹来引导VLA的推理过程。

RAGu的三个关键设计

几何校准：把源演示“翻译”到目标域

跨域检索的第一个难题是：源数据和目标数据不在同一个坐标系和空间配置下。RAGu引入了简单的几何校准步骤，将源演示中的轨迹变换到目标机器人的设置中。这一步不需要复杂的域适应网络，而是通过显式的几何变换来减少跨域差异，让检索到的演示在空间上对目标域有意义。

粗到细的检索策略

面对大量预变换后的候选轨迹，RAGu采用粗到细的筛选方式：先快速缩小候选范围，再精细挑选与基础VLA模型最兼容的那条轨迹。这种策略在保证检索质量的同时控制了计算开销，避免了在巨大候选池中做昂贵的一一匹配。

引导推理而非重训练

最关键的一点是，RAGu并不重新训练基础模型，也不试图扩展VLA有限的上下文窗口。它选择在VLA的流匹配推理过程中施加引导，让检索到的轨迹在生成动作时发挥作用。这意味着基础模型的能力被完整保留，检索只是提供了一种即时的、可插拔的引导信号。

实验表现

论文在真实世界、仿真环境、仿真到真实迁移以及跨形态人形机器人操作等多种设置下评估了RAGu。最引人注目的结果是：在真实世界任务中，VLA的成功率从20%提升到80%。在仿真环境中，RAGu也优于最接近的基线方法。

这一提升幅度说明，域偏移造成的性能损失中有相当一部分可以通过检索引导来弥补，而不必依赖目标域数据做模型更新。对于需要快速部署到新环境的机器人系统来说，这种零样本适应能力有直接的实用价值。

为什么值得关注

RAGu的意义在于它把RAG的思路迁移到了机器人操作领域，并解决了机器人特有的挑战——几何对齐、轨迹兼容性筛选、推理时引导。它没有追求一个更大的VLA模型，而是用检索来“借力”已有的野生数据，这为VLA的部署提供了一种轻量化的适应路径。

当然，方法的效果依赖于可检索的源数据质量和覆盖范围，几何校准的适用范围也有待进一步检验。但20%到80%的成功率跃升，已经足以让这个方向进入更多研究者的视野。

背景补充

VLA模型（Vision-Language-Action Model）是一类将视觉感知、自然语言指令理解与机器人动作生成统一到一个端到端神经网络中的模型。典型做法是以预训练的视觉-语言模型为骨干，再接入动作解码头（如扩散策略头或流匹配头），在大量机器人演示数据上联合训练。其优势在于能利用互联网规模的视觉-语言知识，并对自然语言指令做出反应；局限在于动作输出高度依赖训练时见过的机器人本体、相机配置和场景分布，因此跨域泛化仍是主要瓶颈。

流匹配（Flow Matching） 是一类生成式建模方法，通过学习从噪声分布到目标数据分布的连续速度场（向量场）来生成样本，推理时对常微分方程做数值积分即可从噪声得到动作序列。相比扩散模型，流匹配的训练目标更直接、采样路径更平滑，因而在机器人动作生成中被广泛采用。RAGu 正是在这一推理过程中注入检索到的轨迹作为引导信号，而不改动模型权重。

域偏移（Domain Shift） 指测试数据分布与训练数据分布不一致的现象，在机器人中常表现为相机视角、光照背景、物体外观、桌面布局或机器人本体的差异。域偏移不会让模型报错，却会使其输出悄然退化，是机器人学习系统落地时最普遍的性能损失来源。零样本适应（Zero-Shot Adaptation）即指在不收集目标域数据、不更新模型参数的前提下缓解域偏移。