VLM变身联合去噪器：JADE让机器人动作生成更精准

扩散式视觉-语言-动作（VLA）模型通常将预训练的视觉语言模型（VLM）与扩散动作专家级联，但VLM往往只扮演静态条件提供者的角色。这种分离限制了预训练感知与推理能力对动作生成的引导深度，尤其在分布外场景中更为明显。一项新研究提出JADE（Joint Action DEnoiser），让VLM与动作专家共同参与动作的精炼过程，为机器人控制开辟了新的思路。

从静态条件到动态引导：VLM角色的根本转变

传统VLA架构中，VLM负责理解视觉观察和语言指令，输出一个静态的上下文表示，扩散动作专家再基于该表示生成动作。问题在于，这种单向信息流使得VLM的推理能力无法根据动作生成的中间状态进行动态调整。JADE的核心洞察在于：如果动作潜变量具有结构化形式，VLM就能像读取视觉和语言输入一样，读取当前带噪的动作潜变量。

这一设计让VLM在每个去噪步骤都能结合噪声动作与多模态输入进行上下文化处理，并通过门控交叉注意力机制引导动作专家。换言之，VLM的引导信号会随着动作的逐步生成而演化，而非在生成开始前就固定下来。

扩散模型与去噪过程：扩散模型通过逐步向数据添加噪声再学习逆向去噪来生成样本。在机器人动作生成中，动作序列（或动作潜变量）从纯噪声开始，经过多步去噪逐渐变为可执行的动作轨迹。每个去噪步骤都依赖当前带噪动作和条件信息预测噪声或干净动作。传统VLA中条件信息（VLM输出）在去噪前固定，而JADE让VLM在每个去噪步骤重新读取带噪动作潜变量，实现动态条件化。

门控交叉注意力机制：交叉注意力允许动作专家查询VLM的多模态表示，门控则动态控制信息流入强度——类似“阀门”根据当前噪声动作状态调节VLM引导信号的权重。这使VLM能判断当前动作状态是否需要更多语言或视觉推理介入，避免静态条件的盲目性。

联合去噪的训练机制与效率优化

JADE不仅让VLM参与引导，还进一步监督VLM从带噪动作潜变量中恢复干净的动作潜变量。这一训练目标为VLM提供了直接的动作学习信号，将感知与控制紧密耦合。据论文描述，这种联合去噪方式带来了一个额外好处：JADE能够以更少的采样步骤生成动作，从而部分抵消VLM参与带来的额外计算成本。

研究团队还引入了自适应步长调度策略，在任务性能与推理延迟之间取得平衡。这意味着系统可以根据实际需求动态调整计算投入，而非固定使用同一套采样配置。

π₀.₅基线模型：π₀.₅是Physical Intelligence提出的视觉-语言-动作基础模型，采用预训练VLM与扩散动作专家级联的架构，在机器人操作任务中表现强劲。JADE以π₀.₅为基座，保留其预训练VLM和动作专家，但改造二者的交互方式，使VLM参与去噪循环。因此，JADE与π₀.₅的对比能直接体现“动态引导”相对于“静态条件”的增益。

自适应步长调度：扩散采样步长决定去噪轨迹的精细程度。固定步长难以兼顾质量与速度：步长太大易丢失细节，步长太小则延迟高。自适应调度根据当前去噪状态动态调整步长（如早期大步快速逼近、后期小步精细调整），在推理时按需分配计算资源，是JADE缓解VLM参与带来额外开销的关键工程手段。

基准测试与真机实验表现

在RoboDojo基准上，JADE取得了12.67%的平均成功率，在所有基于π₀.₅的评估方法中排名最高，并且与近期大规模预训练的VLA和WAM基础模型相比具有竞争力。在RoboTwin 2.0上，JADE同样带来性能提升。

更值得关注的是真机实验：在四项真实世界双臂操作任务中，JADE相比π₀.₅将平均成功率提升了20.8个百分点。这一幅度在机器人操作领域相当可观，说明联合去噪机制在真实物理环境中同样有效。

RoboDojo与RoboTwin 2.0：RoboDojo是面向机器人操作的仿真基准，涵盖多种任务和场景，用于评估VLA模型的泛化与成功率；RoboTwin 2.0是双臂机器人仿真平台，强调协调操作。二者常被用于检验模型在分布内和分布外任务上的表现。JADE在RoboDojo上取得12.67%平均成功率，虽绝对值不高，但在高难度基准中已属有竞争力的水平，且在所有基于π₀.₅的方法中排名最高。

对VLA架构设计的启示

JADE的意义不止于一个更强的模型。它挑战了VLA领域一个隐含的默认假设——VLM只应作为静态特征提取器。通过让VLM深入参与去噪循环，预训练模型中蕴含的丰富感知与推理能力得以持续作用于动作生成的全过程。

这种设计思路也为分布外泛化提供了新的可能：当VLM能够“看到”动作当前处于什么状态时，它更有可能利用预训练知识纠正偏离常规的生成轨迹。当然，VLM参与每个去噪步骤必然增加计算负担，JADE通过减少采样步骤和自适应调度来缓解这一问题，但实际部署中的效率权衡仍需进一步验证。

从更宏观的视角看，JADE代表了VLA模型从“级联”走向“深度融合”的趋势。当感知、语言与控制的边界进一步模糊，机器人系统有望在开放环境中展现出更强的适应能力。