LLM是机器人智能的错误地基？具身AI的路线之争

一个来自机器人学界的质疑

当整个AI行业都在为大语言模型（LLM）的能力欢呼时，机器人领域的研究者Ranjay Krishna却提出了一个逆流而上的观点：LLM可能根本不是机器人智能的正确基础。

Ranjay Krishna是斯坦福大学计算机科学系助理教授，以Visual Genome数据集的创建者身份广为人知——该数据集包含超过10万张图像的密集视觉关系标注，深刻影响了视觉问答（VQA）和场景图生成等研究方向。他同时也是微软研究院的研究员，长期横跨计算机视觉与机器人学两个领域。正因如此，他对「视觉-语言模型是否适合机器人」的质疑并非来自门外汉的批评，而是一位深度参与语言-视觉融合研究的学者在亲历行业浪潮后的内部反思，这使其观点具有独特的可信度与穿透力。

这个论断颇具挑战性。近年来，「大模型+机器人」几乎成为具身智能（Embodied AI）的默认范式——用LLM作为「大脑」进行任务规划、推理和决策，再驱动机械本体执行。

大语言模型与具身智能的结合浪潮

大语言模型（LLM）是基于Transformer架构、在海量文本数据上预训练的神经网络模型，代表如GPT-4、PaLM等。Transformer架构由Vaswani等人于2017年在论文《Attention Is All You Need》中提出，其核心创新是自注意力机制（Self-Attention），允许模型在处理序列时动态关注任意位置的上下文，突破了此前RNN架构在长距离依赖上的瓶颈。LLM的「涌现能力」（Emergent Abilities）——即在参数规模超过某一临界点后突然出现的推理、代码生成等能力——是驱动「大模型+机器人」范式兴起的核心动力。具身智能（Embodied AI）则强调智能体必须拥有物理身体，通过与环境的真实交互来发展认知能力——这一概念源自认知科学家罗德尼·布鲁克斯（Rodney Brooks）等人在1980-90年代提出的「行为主义机器人学」。RT-2（Robotics Transformer 2）是Google DeepMind于2023年发布的里程碑模型，首次将视觉-语言模型直接迁移到机器人动作控制，展示了语言预训练知识向物理操作的迁移潜力。VLA（Vision-Language-Action）模型则是这一路线的系统化延伸，试图用统一的语言表征空间桥接视觉感知和电机动作输出。

VLA模型的核心技术路线是将预训练的视觉-语言模型（如PaLI、LLaVA等）通过指令微调或强化学习扩展到动作输出。以Google DeepMind的RT-2为例，其基座是280亿参数的PaLM-E模型，动作被编码为离散token序列（类似文字token），与语言token在同一自回归框架下生成。这种设计虽然优雅地统一了语言理解与动作生成的接口，却也带来了几个根本性局限：自回归token生成的延迟通常在数百毫秒量级，难以满足实时控制需求；将连续动作离散化为token会损失精度，尤其在需要亚毫米级精确定位的灵巧操作任务中；LLM的训练目标（预测下一个token）与机器人的优化目标（最大化任务成功率）之间存在根本性的目标错位。值得注意的是，这一「目标错位」在技术上被称为「奖励欺骗」（Reward Hacking）或「Goodhart定律」问题——当模型被优化为最大化某一代理指标（token预测准确率）时，其行为未必能迁移到真实任务目标上。2024年出现的π0等模型开始尝试用扩散策略替代自回归动作生成，正是对上述局限的直接回应。

从Google的RT-2到各类VLA（视觉-语言-动作）模型，语言似乎成了连接感知与行动的天然桥梁。而Krishna质疑的，恰恰是这座桥梁本身是否必要。

语言：感知与行动之间多余的中间层？

Krishna的核心论点直击要害：语言在感知与行动之间，可能是一个不必要的中介。

他给出了一个极具说服力的例子——人类在做出物理反应时，并不会先把每次交互「翻译」成语言。当你接住一个飞来的球、把手从滚烫物体上猛地缩回、或在房间里绕过障碍物行走时，这一切都发生在感知与动作之间的直接连接上，中间没有内心独白，也没有文字描述。

这并非只是直觉观察，而有深刻的神经科学基础。人类运动控制系统是一个精妙的多层级并行架构：脊髓反射弧（如膝跳反射、缩手反射）的响应时延仅为15-20毫秒，信号甚至不经过大脑皮层；小脑通过内部前馈模型预测运动后果并进行实时误差校正，负责精细协调；基底神经节参与运动序列的习惯化与自动化；大脑皮层运动区（M1、前运动皮层）则处理有意识的动作规划。

神经科学家们将这套架构理解为「内部模型」（Internal Model）理论的生物实现：小脑内同时存在「前馈模型」（Forward Model，预测动作的感觉后果）和「逆模型」（Inverse Model，从期望状态反推所需指令），二者协作使运动系统能在不依赖实时感觉反馈的情况下高速运行。这一机制是人类能够以每秒数十个音节速度演奏乐器、完成高速运动的根本原因。更关键的是，语言处理主要集中在左侧大脑皮层的布罗卡区（Broca's area）和韦尼克区（Wernicke's area），与上述运动控制通路在解剖学上高度分离——神经影像学研究表明，熟练的运动技能执行期间，语言相关脑区的激活程度显著低于动作学习初期，这表明「语言辅助」是习得阶段的脚手架，而非成熟运动控制的必要组件。

换句话说，如果人类绝大多数运动智能都绕过了语言，那么强行让机器人「先用语言思考，再行动」，是否在给系统增加不必要的负担？这不仅可能带来延迟，更可能在本质上扭曲了智能应有的结构。

从感知直达行动：端到端架构的逻辑

基于这一判断，Krishna认为机器人模型应该采用相同的工作方式：直接从视觉与传感器输入映射到动作，而非在中间嵌入一个LLM。

这意味着一种更彻底的端到端架构——摄像头、力传感器、触觉反馈等原始信号直接输入模型，模型输出电机指令，整个回路不经过文字表征这一层。

端到端学习的技术渊源与当代实践

端到端（End-to-End）学习是深度学习的核心范式之一，指从原始输入直接映射到最终输出，中间不依赖人工设计的特征提取或模块分解。在机器人控制领域，这一思路最早可追溯至NVIDIA 2016年发布的「自动驾驶端到端学习」论文（DAVE-2系统），该研究直接从摄像头图像输出转向角，无需显式的感知-规划-控制分层，在真实道路测试中展示了令人惊讶的泛化能力。近年来，斯坦福大学的ACT（Action Chunking with Transformers）和CMU的Diffusion Policy等工作进一步验证了端到端感知-动作学习在灵巧操作任务中的有效性。其中，Diffusion Policy将去噪扩散概率模型（DDPM）引入动作生成，将动作输出建模为从噪声中逐步去噪的连续过程，从根本上规避了自回归token化的精度损失问题，在抓取、插销等精密操作任务中取得了超越此前方法的性能。这类模型的核心优势在于避免了模块间的信息损失和误差累积，但代价是可解释性低、对训练数据分布敏感，且难以应对需要长程推理的复杂任务。

这种思路在深度学习早期的机器人控制中并不陌生，但在LLM主导话语权的当下被严肃重提，本身就具有重要的反思价值。

语言作为中间层：优势背后的代价

必须承认，语言作为中间层并非毫无道理。它带来了可解释性（能看懂机器人「在想什么」）、泛化能力（借助LLM在海量文本中习得的常识）以及任务组合能力（用自然语言指令灵活编排复杂任务）。这正是VLA类模型受到追捧的根本原因。

但Krishna的批评提醒我们：这些优势是有代价的。语言是一种离散的、低带宽的、高度抽象的表征，而物理世界的交互往往是连续的、高维的、亚符号（sub-symbolic）的。

亚符号表征、连续控制与信息带宽的根本矛盾

亚符号（Sub-symbolic）表征是相对于符号表征（如文字、逻辑命题）而言的概念，指以连续数值向量形式编码信息，不依赖离散语义单元。信息论之父克劳德·香农（Claude Shannon）在1948年奠定的信息论框架为这一矛盾提供了精确的量化视角：语言信道的信息传输率受制于其离散符号的熵上限，而物理控制信号的信息密度则由信道带宽与信噪比决定（香农-哈特利定理）。在机器人动作控制中，亚符号信息尤为关键：一个机械臂抓取物体的过程涉及关节角度、末端力矩、接触面积、材质形变等高维连续信号，采样频率通常在500Hz至1000Hz之间，每个控制周期需要传递数十个浮点数。相比之下，语言的信息带宽极低——人类语音传递信息的速率约为每秒39比特，而一个六轴机械臂的控制信号带宽可达数千比特每秒。将高频连续控制信号强行映射到低带宽的语言空间，不仅在信息论层面存在根本性的压缩瓶颈，还会引入LLM推理本身数十至数百毫秒的延迟，这对需要实时反馈的动态任务（如接球、紧急避障）几乎是致命缺陷。

把「接住球」这样涉及毫秒级时序与连续力控的动作压缩进语言的表征空间，很可能丢失关键信息，也难以满足实时控制的要求。

两种智能观的碰撞

从更宏观的视角看，这场争论实际上是两种智能哲学的正面交锋：

• 符号主义的延续：认为智能的核心是符号操作与推理，语言是通往通用智能的捷径，LLM是当前最佳载体。这一传统可追溯至Newell和Simon的「物理符号系统假说」，主张任何足够复杂的符号操作系统都具备产生智能行为的充要条件，LLM的崛起在某种程度上被视为这一路线的当代复兴。
• 具身认知的立场：认为智能根植于身体与环境的直接互动，运动智能先于语言智能演化，二者不应混为一谈。

「物理符号系统假说」由艾伦·纽厄尔（Allen Newell）和赫伯特·西蒙（Herbert Simon）于1976年图灵奖演讲中正式提出，其哲学前身可追溯至莱布尼茨（Leibniz）的「思维演算」（Calculus Ratiocinator）设想——一种将所有推理形式化为符号运算的宏大构想。这一假说成为经典AI（GOFAI，Good Old-Fashioned AI）的理论基石，催生了专家系统、定理证明器等一系列重要成果。然而，它遭到了哲学家约翰·塞尔（John Searle）「中文屋」思想实验的强力挑战——塞尔论证，一个严格按规则操作中文符号的人（或机器），即使在外部观察者看来完全通过了中文理解测试，其内部依然不存在真正的语义理解，符号操作本身无法产生意识与意义。布鲁克斯（Rodney Brooks）则从工程实践层面提出反驳，其1990年论文《Elephants Don't Play Chess》（大象不下棋）指出，真实世界的智能行为来自简单传感-行动规则的涌现，而非集中式符号规划——他用仅靠几条反应规则就能穿越复杂地形的六足机器人「Ghengis」验证了这一点。讽刺的是，当今LLM以统计学习方式「掌握」了大规模符号操作，其表现之强大使符号主义似乎以新形式「复活」，但Krishna等研究者的质疑提醒我们：语言符号的操控能力，可能依然无法等同于对物理世界的真正理解与控制。

具身认知理论：哲学根基与演化证据

具身认知（Embodied Cognition）是认知科学中一个重要流派，由梅洛-庞蒂（Maurice Merleau-Ponty）在其1945年著作《知觉现象学》（Phénoménologie de la Perception）中奠定哲学基础，核心主张是：认知不是大脑中孤立发生的符号计算，而是身体、神经系统与环境三者持续动态交互的产物——身体的姿态、肌肉记忆和本体感觉构成了认知的底层基础，而非附属于心智的外围设备。弗朗西斯科·瓦雷拉（Francisco Varela）、伊万·汤普森（Evan Thompson）和埃莉诺·罗施（Eleanor Rosch）在1991年合著的《具身心智》（The Embodied Mind）中将这一思想系统化，提出「涵身认知」（Enaction）理论，强调认知系统与环境的「结构耦合」（Structural Coupling）。从演化角度看，运动智能的演化比语言能力早数亿年——三叶虫在5亿年前已演化出复杂的趋光运动，鱼类在3.5亿年前发展出精密的流体动力学控制系统，哺乳动物的本体感觉皮层在6500万年前已高度发育，而人类语言出现的历史不足100万年。这一时间尺度上的巨大不对称，意味着将语言作为运动控制的必要基础，在演化逻辑上存在根本性的倒置。

Krishna显然站在后者一边。这与近年来学界对「大模型是否真正理解物理世界」的质疑遥相呼应——一个能写诗的模型，未必知道玻璃杯掉在地上会碎。

对具身智能路线的三点启示

这场讨论对当下火热的机器人赛道有着切实的指导意义。

第一，分层架构或许更合理。 一种务实的折中方案是：让LLM负责高层、慢速的任务规划（「去厨房拿一杯水」），而底层、快速的运动控制交给不依赖语言的专用策略网络。语言只在需要抽象推理的地方出现，而非贯穿控制全程。

分层控制的工程实践与认知科学映射

分层控制架构在机器人工程实践中有着深厚积累，可追溯至1970年代NASA喷气推进实验室（JPL）为行星探测器开发的三层自主控制系统。经典三层架构将系统分为战略层（任务规划，秒至分钟级响应）、战术层（行为协调，百毫秒级响应）和执行层（底层运动控制，毫秒级响应）。Google于2022年发布的SayCan是将LLM引入高层规划的早期范本——它让语言模型仅负责生成可行动作序列（结合环境中可执行技能的可供性评分），具体执行交由预训练的底层技能策略完成，在真实厨房场景的复杂指令执行中取得了显著效果。2024年，Google DeepMind进一步发布了RobotGPT等系统，将代码生成作为LLM与底层控制器之间的接口，让语言模型以编写Python控制脚本的方式指挥机器人，进一步降低了语言层与动作层之间的语义鸿沟。这种「慢思考+快反应」的分工，与诺贝尔经济学奖得主丹尼尔·卡尼曼（Daniel Kahneman）在《思考，快与慢》中提出的「双过程理论」存在深刻的结构同构性——系统1（快速、直觉、自动）对应底层感知-动作回路，系统2（慢速、推理、受控）对应LLM任务规划层，这一认知科学框架为分层机器人架构提供了来自人类心智研究的间接佐证。

第二，数据形态决定模型形态。 机器人领域的核心瓶颈之一是缺乏大规模、高质量的动作数据。坚持以语言为中心，就必须为动作数据配上文字标注，既昂贵又可能引入偏差。而直接的感知-动作学习范式，理论上可以更充分地利用原始交互数据。

机器人动作数据生态：语言标注的深层矛盾与去标注趋势

Open X-Embodiment是由Google DeepMind联合33个学术机构于2023年发布的大规模跨机器人数据集，包含来自22种不同机器人平台、超过100万条机器人操作轨迹，其发布被视为机器人基础模型研究的「ImageNet时刻」——正如ImageNet在2012年解锁了计算机视觉的深度学习革命，Open X-Embodiment被寄望于推动跨形态迁移学习的突破。然而，这一数据集也揭示了一个深层矛盾：其大量数据依赖自然语言指令标注（如「pick up the apple」「open the drawer」），意味着数据收集成本高昂（需要人工逐条标注）、标注偏差难以消除（不同标注者对同一动作的语言描述存在系统性差异），且语言标注本身就预设了「语言是动作的自然表征」这一有待验证的假设。相比之下，Carnegie Mellon大学的UMI（Universal Manipulation Interface）项目尝试用手持夹爪收集「无标注」人类演示数据，通过学习动作的几何约束而非语义描述来迁移技能；UC Berkeley的DreamerV3等基于世界模型（World Model）的方法则探索完全从原始像素交互中自监督学习环境动态；Meta AI的JEPA（Joint Embedding Predictive Architecture）架构则从表征学习角度挑战语言作为核心监督信号的必要性。这些路线均指向「减少对语言标注依赖」的共同方向，与Krishna的质疑形成深层共鸣。

第三，不必迷信「大脑」隐喻。 把LLM称作机器人的「大脑」是一个诱人却危险的类比。生物的运动控制大量依赖小脑、脊髓等无需「思考」的通路，机器人系统同样不必把所有智能都塞进一个语言模型里。

这一「大脑」隐喻的危险性在于它遮蔽了一个关键的工程现实：波士顿动力的Atlas和Spot机器人之所以能完成令人叹为观止的跑酷动作和复杂地形穿越，依靠的是精心调校的模型预测控制（MPC）算法和实时状态估计器，而非任何形式的语言模型。Atlas每秒执行数千次力矩控制计算，实时平衡数十个自由度——这种计算密度的实时控制，目前没有任何LLM能以合理的功耗和延迟完成。将「大脑」（高层认知）与「脊髓+小脑」（底层协调）的功能合并进单一语言模型，不仅在工程上低效，也可能从根本上误导了具身智能的研究方向。

结语：智能的地基，文字还是感知？

Krishna的观点未必是最终答案，但它是一剂必要的清醒剂。在LLM的光环之下，行业容易陷入「一切皆可语言化」的路径依赖。而真正的具身智能，或许需要我们重新思考：智能的地基，究竟应该由文字砌成，还是由感知与行动之间那条最短、最古老的通路铺就？

对于正在探索机器人未来的从业者而言，这个问题值得反复咀嚼。答案很可能不是「非此即彼」，而是找到语言与直接控制之间恰当的分工边界——让语言做语言擅长的事（抽象规划、常识推理、人机交互），让感知-动作回路做它擅长的事（实时响应、连续控制、物理适应）。这种精细化的能力分工，或许才是具身智能下一阶段真正需要攻克的核心命题。值得期待的是，这一方向上已有若干令人兴奋的早期信号：2024年出现的Helix（Figure AI）、GR-2（字节跳动）等系统开始尝试将基础模型的语义理解与专用扩散策略的精密控制解耦集成，而学界对「何时引入语言、何时绕过语言」的系统性研究也正在从零散的工程经验向理论框架演进——这场由Krishna们发出的质疑，正在推动整个领域走向更清醒、更精确的自我认知。

核心要点

核心要点