ChunkAct:为智能体机器人引入动作分块,LLM调用减少2.9倍

ChunkAct 通过在线动作分块与离线记忆编译,消除 LLM 逐原语推理的冗余,兼得成功率与效率。
文章讨论智能体机器人中 LLM 逐步推理带来的效率困局:每个基础动作原语都触发一次完整 LLM 推理,成本随原语数线性增长。ChunkAct 的洞察是其中大量推理是冗余的——子目标一旦确定,原语序列已由记忆模块预设,无需 LLM 重复思考。其方案是在线一次调用启动一整块链式原语并在失败时交还控制权,离线将记忆编译为动作块,使测试阶段无需查询记忆,计算量随决策数而非原语数增长。在 LIBERO-Pro 上成功率提升 5.0 个百分点,LLM 调用减少 2.9 倍,输入 token 减少 4.4 倍。文章据此提出更根本的架构问题:LLM 应专注推理而非例行调度。
智能体机器人的效率困局
把大语言模型放进机器人的控制回路,是过去几年机器人领域最令人兴奋的方向之一。LLM 智能体可以组合感知、运动、视觉-语言-动作(VLA)等工具,在记忆模块的引导下完成新任务,无需重新训练。这种泛化能力让机器人从"专才"向"通才"迈出了一大步。
代价是效率。据论文描述,每一个基础动作原语都需要对大模型做一轮完整推理,输入包含完整的交互历史。这意味着一次任务回合的成本随原语数量线性增长——原语越多,LLM 被调用的次数越多,token 消耗越大,延迟也越高。对于需要连续执行几十甚至上百个动作的复杂任务,这种开销很快变得难以承受。

视觉-语言-动作模型(VLA) 是一类将视觉感知、自然语言指令与机器人动作生成统一到一个模型中的多模态架构。典型代表如 RT-2、OpenVLA 等,它们通常以预训练的视觉-语言模型为骨干,把动作离散化为 token 后与文本 token 一同预测,从而让机器人能理解"把红色积木放到蓝色盒子里"这类开放指令。VLA 的优势在于跨任务、跨物体的泛化能力,无需为每个新任务单独采集数据或重训。在智能体机器人框架中,VLA 往往作为底层的"手脚"被 LLM 规划器调用,而 LLM 负责更高层的子目标选择与流程编排。
动作原语(action primitive) 指机器人可执行的最小、原子化动作单元,例如"向前移动 10 厘米""抓取""释放"或"旋转手腕 30 度"。原语之上可以通过序列组合成复杂行为,之下则由具体控制器落实为关节力矩或速度指令。在分层智能体架构中,规划器输出的是原语序列而非底层电机信号,这一抽象层使得同一套规划逻辑能适配不同硬件。原语数量直接决定了任务回合的长度:一个"整理桌面"任务可能拆解为几十个原语,而每个原语若都触发一次 LLM 推理,开销就会迅速累积。
核心洞察:大部分推理是冗余的
ChunkAct 的研究者发现了一个关键事实:这些推理中有很大一部分是冗余的。一旦子目标被选定,执行该子目标所需的一系列原语其实是按记忆模块中已规定的例行程序走的,并不需要 LLM 每一步都重新"思考"。
换句话说,LLM 在智能体机器人中承担了两种截然不同的工作:一种是真正的决策——选哪个子目标、遇到意外怎么办;另一种是机械式的执行调度——按照已知流程一步步调用工具。前者需要推理能力,后者只需要按部就班。把两者混在一起,让 LLM 为每一个原语都做一次完整推理,是对算力的巨大浪费。
ChunkAct 怎么做:在线分块 + 离线编译
ChunkAct 的思路直接而有效:把动作分块(action chunking)引入智能体机器人。
在线执行时,一次 LLM 调用不再只触发一个原语,而是启动一整块链式原语。这个块会自主执行,只有在失败时才把控制权交还给规划器。这样一来,LLM 的调用次数从"每个原语一次"变成了"每个决策一次"。
离线阶段,ChunkAct 把记忆模块编译成这些动作块。执行时不再需要查询记忆,测试阶段是"无记忆"的,规划器被保留给真正需要推理的决策。计算量因此与决策数量挂钩,而不是与原语数量挂钩。
这个设计还有一个隐含好处:由于动作块在离线时已经编译好,在线执行的路径更短、更确定,减少了 LLM 推理带来的不确定性传播。
动作分块(action chunking) 最早在机器人模仿学习领域被提出,代表工作是 ACT(Action Chunking with Transformers)。其核心思想是:策略网络一次前向不再只输出单个时刻的动作,而是预测未来若干步的动作序列(一个 chunk),机器人按顺序执行该序列后再重新规划。这样做的动机有两点:一是减少高频重规划带来的计算与抖动,二是缓解示教数据中多模态动作分布导致的"取平均"问题。ChunkAct 的贡献在于把这一思想从底层连续控制提升到智能体规划层——分块的对象不再是关节轨迹,而是一串已经确定好的原语调用,分块的边界由决策点而非固定时间窗口决定。
记忆模块与记忆编译 是另一个关键概念。在许多 LLM 智能体架构中,记忆模块以向量数据库或结构化知识库的形式存在,记录"某类子目标对应哪些操作步骤"。传统做法是每个原语执行前都检索一次记忆,检索结果拼进 prompt 再交给 LLM 推理。ChunkAct 的"离线编译"指的是:在部署前就把记忆中的例行程序展开、固化为一组可执行的动作块,在线时直接调用这些块,跳过检索与推理环节。这类似于编程语言里把解释执行改为提前编译(AOT),把运行时的重复开销转移到一次性的构建阶段。
实验结果:成功率提升,成本大幅下降
在 LIBERO-Pro 基准上,ChunkAct 的成绩值得关注:
- 任务成功率比当前智能体机器人领域的最优方法提升 5.0 个百分点
- LLM 调用次数减少 2.9 倍
- 输入 token 减少 4.4 倍
- 输出 token 减少 2.3 倍
成功率和效率同时改善,这在系统优化中并不常见。通常减少 LLM 调用会牺牲任务完成质量,但 ChunkAct 通过消除冗余推理,反而让规划器能更专注于真正需要判断的环节。
LIBERO-Pro 是 LIBERO 基准的增强版本,用于评测长程、多步骤的机器人操作任务。LIBERO 本身包含 Spatial、Object、Goal、Long 四类任务套件,考察空间关系推理、物体泛化、目标条件与长程依赖等能力;Pro 版本进一步提高了任务复杂度与步骤数,更贴近真实家庭或实验室场景。由于任务回合长、子目标多,LIBERO-Pro 恰好放大了逐原语推理的成本,因此成为检验 ChunkAct 这类效率优化方法的合适测试床。需要说明的是,成功率与调用次数是两类不同指标:前者反映任务完成质量,后者反映系统开销,二者同时改善才说明优化没有以牺牲能力为代价。
对智能体机器人架构的启示
ChunkAct 的价值不只是省 token。它提出了一个更根本的问题:在智能体系统中,LLM 应该负责什么?
当前很多智能体架构倾向于让 LLM 事无巨细地参与每一步,理由是"模型足够强,让它自己决定"。但 ChunkAct 的结果表明,把例行执行从 LLM 的职责中剥离出来,编译成可复用的动作块,反而能同时提升性能和效率。这对其他领域的智能体设计同样有参考意义——无论是软件操作智能体还是多工具编排系统,"哪些步骤需要推理、哪些可以预编译"都是值得追问的问题。
动作分块在机器人学习领域已有先例,ChunkAct 的创新在于把它从底层控制层提升到了智能体规划层,并与记忆编译结合,形成了完整的在线-离线方案。
相关推荐

AI数字分身实战:用DOT自动追踪Bug与用户反馈
DOTS 团队工程师演示如何用 AI 数字分身 DOT 跨平台收集用户反馈、自动归类问题主题、开线程调查 Bug 根因并直接提交 PR,展示 AI 代理参与缺陷分诊的完整工作流与可审计设计。

晶体管为何不再扁平?从平面到环绕栅极的演进
晶体管从平面到FinFET再到环绕栅极的演进:为何栅极需要从三面包裹到四面环绕,以抑制短沟道效应和泄漏电流,延续摩尔定律。

蜂群思维=单个RL智能体?多臂老虎机等价性证明
一篇论文证明蜂群通过局部模仿进行的集体决策,在数学上等价于单智能体强化学习。N个盲目模仿者相当于N个并行环境采样,有效学习率为1/N。本文解读Maynard-Cross Learning算法的推导与影响。