UniWALM
一种统一世界-动作-语言的机器人控制模型，在单一mixture-of-transformers骨干网络内为视频、动作、语言三模态配备扩散头同步生成，实现语言作为记忆的闭环决策。
时间轴 (近 90 天)
UniWALM 将视频、动作和语言三种模态放在同一个 mixture-of-transformers 骨干网络中共享表示，每个模态配备专用的扩散头并同步去噪。
UniWALM 在生成动作轨迹的同一遍前向传播中同时解码子任务描述和文本记忆，不需要独立的规划阶段。
UniWALM 采用'语言作为记忆'的闭环机制，模型自己生成的文本会在下一步被重新消费，作为后续决策的上下文。
Flow Matching with Correction（FMC）是 UniWALM 引入的训练目标，训练时教模型从受扰动的动作轨迹中恢复，且不在推理时增加额外计算成本。
在组合式拾放任务 MolmoSpaces 上，UniWALM 持续优于同骨干基线 FastWAM。
在记忆依赖场景 RMBench 上，UniWALM 在无任何预训练语言或推理模型的条件下达到 34.5% 成功率，超过 Mem-0 关键帧辅助设置的 28.5%。
在真实世界 Find-the-Item 任务中，生成文本记忆将 UniWALM 的成功率从 11.1% 提升到 61.1%。
UniWALM 目前展示的任务集中在拾放和物品查找，更复杂的长期任务和开放环境泛化仍需验证。
单骨干多扩散头的训练成本和稳定性在更大规模下是否依然成立，仍是需要验证的问题。
全部知识事实 (9)
UniWALM 将视频、动作和语言三种模态放在同一个 mixture-of-transformers 骨干网络中共享表示，每个模态配备专用的扩散头并同步去噪。
50%待验证UniWALM 在生成动作轨迹的同一遍前向传播中同时解码子任务描述和文本记忆，不需要独立的规划阶段。
50%待验证UniWALM 采用'语言作为记忆'的闭环机制，模型自己生成的文本会在下一步被重新消费，作为后续决策的上下文。
50%待验证Flow Matching with Correction（FMC）是 UniWALM 引入的训练目标，训练时教模型从受扰动的动作轨迹中恢复，且不在推理时增加额外计算成本。
50%待验证在组合式拾放任务 MolmoSpaces 上，UniWALM 持续优于同骨干基线 FastWAM。
50%待验证在记忆依赖场景 RMBench 上，UniWALM 在无任何预训练语言或推理模型的条件下达到 34.5% 成功率，超过 Mem-0 关键帧辅助设置的 28.5%。
50%待验证在真实世界 Find-the-Item 任务中，生成文本记忆将 UniWALM 的成功率从 11.1% 提升到 61.1%。
50%待验证UniWALM 目前展示的任务集中在拾放和物品查找，更复杂的长期任务和开放环境泛化仍需验证。
50%待验证单骨干多扩散头的训练成本和稳定性在更大规模下是否依然成立，仍是需要验证的问题。
50%