潜在推理：超越思维链的下一代AI推理范式

思维链的规模陷阱

在大语言模型（LLM）的推理能力竞赛中，思维链（Chain of Thought，CoT）一度被视为解锁复杂推理的关键钥匙。这一技术由Google Brain团队在2022年正式提出，核心思想是通过引导模型在给出最终答案之前生成逐步推导过程，显著提升了模型在数学推理、逻辑推断等任务上的表现，并进化出Zero-Shot CoT、Self-Consistency等变体，成为推理增强的标准范式。但一篇在Reddit上引发热议的深度讨论提出了一个颇具挑战性的观点：我们已经开始把"可读的推理轨迹"与"实际的计算过程"混为一谈。用一句话概括就是——"生成文本并不等于思考"。

这个论断直击当下推理模型的两大核心痛点。

第一是忠实性问题（Faithfulness）：CoT风格的推理轨迹可能与模型实际执行的计算脱钩。忠实性是可解释AI领域的核心概念，指模型生成的解释是否真实反映了其内部决策过程。Anthropic、DeepMind等机构的多项研究表明，CoT推理链存在系统性的"后验合理化"现象——模型有时先得出答案，再反向构造看似合理的推理步骤。斯坦福大学的研究更发现，在推理链关键步骤中注入错误信息，对最终答案的影响远小于预期。你可能得到一串看似合理却导向错误答案的步骤，也可能遇到步骤混乱却结论正确的情况。这意味着，CoT的推理轨迹并不是一份可靠的"审计记录"。

第二是系统成本问题。自回归推理是当前主流Transformer语言模型的核心机制——模型每次只生成一个token，将其追加到上下文后再生成下一个，本质上是串行计算过程。这一设计在推理阶段带来了严重的效率瓶颈：推理链越长，KV Cache的显存占用和注意力计算量的增长越显著，OpenAI o1模型的API调用成本是GPT-4o的约15倍，很大程度上源于此。当我们让模型"公开思考"时，实际上是在为可读性支付昂贵的算力代价。

潜在推理：让思考留在内部

近期一批前沿研究正在推动一个重要转向：把推理的内循环转移到潜在空间（latent space），只在最终阶段才解码为语言。

潜在空间是深度学习模型内部的高维连续向量空间，是模型对输入数据进行压缩表征的"内部语言"。与文本token不同，这些连续浮点向量不受词汇表限制，能够编码远比离散文本更丰富的语义信息。从信息论角度看，将中间推理过程"翻译"成自然语言必然伴随信息损失——人类语言的表达粒度远粗于模型内部的计算精度。潜在推理的核心主张正在于此：允许模型在高维连续空间中完成推理的中间步骤，只在最终输出时才执行"解码"这一有损压缩操作。这一思路下涌现出几个代表性方向。

Coconut：连续的潜在思考

Coconut（Chain of Continuous Thought）是Meta AI Research于2024年提出的潜在推理框架。其核心技术是在标准Transformer的词嵌入层与输出层之间，引入多轮"无解码"的前向传播循环：模型对同一上下文执行多次前向计算，每次将输出的隐藏状态直接反馈为下一轮的"输入嵌入"，而不经过softmax解码为token。实验表明，Coconut的潜在思考步骤中隐含了多条推理路径的并行探索——模型在内部完成多轮迭代推理后，才把结果转译成人类可读的语言，从而避免了把每一步中间计算都强行"翻译"成文字的额外开销。

HRM：分离慢规划与快执行

HRM（Hierarchical Reasoning Model）及其文本变体尝试将较慢的规划与较快的递归执行分离开来。这种分层结构与诺贝尔经济学奖得主Daniel Kahneman提出的双系统认知理论高度对应：高层规划器（系统2，慢速、分析式）负责分解目标、制定策略，低层执行器（系统1，快速、直觉式）负责具体步骤的高频处理。这种设计不仅在认知上更合理，也在计算上更高效——规划层可以使用更大的模型以更低的频率运行，执行层则使用轻量模型处理细节，实现计算资源的差异化分配。

RecursiveMAS：智能体间传递潜在嵌入

RecursiveMAS将这一思想扩展到多智能体系统：让智能体之间传递潜在嵌入向量，而非冗长的文本消息。当前主流的LLM-based多智能体框架（如AutoGen、CrewAI）普遍采用自然语言作为通信媒介，这存在两个固有缺陷：将连续内部状态压缩为离散文本的带宽损耗，以及接收方重新解析文本的冗余编解码开销。RecursiveMAS通过直接传递潜在嵌入向量绕过了这一问题，类似于分布式计算中"共享内存"模式相对于"消息传递"模式的效率优势，大幅压缩了智能体协作的通信成本。

理解这一转向，有一个颇有价值的框架：语言作为接口（interface）vs 语言作为计算基底（compute substrate）。语言对于沟通和抽象无疑不可或缺，但强行把搜索、约束求解这类计算任务序列化成文本，既笨拙又昂贵。语言应当是输入输出的界面，而不是思考本身发生的地方。

黑箱之墙：可解释性的真实代价

然而，潜在推理并非没有代价。如果"思考"发生在几十轮潜在循环之中，我们就彻底失去了CoT曾经提供的那扇"观察窗口"——尽管那扇窗户本来就不够清晰。

在医疗、金融、法律等高风险领域，"零可见性"是一个实打实的部署障碍。欧盟《人工智能法案》（AI Act）明确将医疗诊断、信用评估、司法辅助等场景列为"高风险AI系统"，要求提供充分的透明度和可解释文档；金融领域的巴塞尔协议框架和美国FDA的医疗AI指南也都要求模型决策具有可追溯性。当推理完全隐入潜在空间，这种合规需求就撞上了一堵黑箱之墙。

一个颇具建设性的解决方向是引入外循环治理层（outer loop governance layer）：用一个符号化或规划式的管理器，构建可审计的子目标有向无环图（DAG），并在每个节点进行确定性验证——单元测试、约束检查、规则校验等。DAG将子目标组织为具有拓扑排序的依赖图，每个节点代表一个可独立验证的计算单元，使得错误可以被精确定位；其有向无环结构天然防止了循环依赖导致的逻辑死锁，且比线性CoT链更能自然描述并行子任务和条件分支。

这样一来，可审计性的重心就从"阅读模型的内心独白"转移到了"审计计划 + 检查 + 已验证的输出"。值得注意的是，监管者通常关注的正是"结果可审计性"而非"过程可读性"——外循环验证机制提供的是可独立验证的客观证据，而非模型自生成的主观陈述，在合规意义上可能比CoT更具说服力。这是一种从"信任内部过程"到"验证外部结果"的根本性思路转变。

BDH：兼顾语言能力与状态化潜在计算

在这个技术图景中，BDH（Dragon Hatchling）是一个值得关注的方向。它的独特之处在于：试图保留语言建模能力的同时，引入递归或状态化的潜在计算，而非仅仅做一个监督式的"解谜器"。

据讨论引用，Pathway报告称基于BDH的系统在约25万道"Sudoku Extreme"（极难数独）题目上达到了97.4%的Top-1准确率，且未使用CoT，也未进行解答回溯。数独是检验约束满足问题（CSP）求解能力的有效诊断工具——从计算复杂性角度，数独求解是NP完全问题，"极难"数独可能需要深层次的假设-回溯搜索，无法通过简单约束传播解决。一个模型能够不依赖CoT直接输出正确答案，确实暗示其内部发展出了某种隐式的约束求解机制。但需要清醒认识到：数独是封闭世界问题，不涉及常识推理、歧义消解或开放域知识，这类高准确率不能预测模型在需要抽象类比、反事实推理或跨领域整合的任务上的表现——这些才是通用推理能力的核心维度。

深度递归 vs 时间递归

深度递归（Depth Recurrence）与时间递归（Time Recurrence）是潜在推理系统设计中的两个正交维度。深度递归指在处理单一输入快照时对同一状态执行多轮迭代计算，类似于迭代求解器反复优化直到收敛，Universal Transformer、DEQ（Deep Equilibrium Model）等架构是这一思路的代表。许多递归式潜在推理器擅长于此，即在问题的固定快照上反复迭代。

但真实的智能体场景本质上是一个数据流——新的token持续不断地到来，这就引出了时间递归（time recurrence）的挑战：什么时候推进时间步？要把哪些状态和记忆携带到下一步？传统RNN面向时间递归但受限于梯度消失问题；当前大语言模型基本放弃了时间递归，转而用自注意力处理整个上下文，代价是计算复杂度随序列长度平方增长；Mamba等状态空间模型（SSM）是最近的折衷尝试，但推理能力仍与Transformer存在差距。这是数独这类静态问题所不涉及的维度。BDH宣称的研究方向，正是要把两者结合起来——高带宽的潜在迭代与随时间演进的、有原则的状态/记忆机制，代表了下一代推理架构的核心挑战之一。

此外，BDH还提供了可恢复的图视图以及稀疏、局部化的状态，带来了一定程度的原生可解释性接口。不过需要强调，这些接口是对系统级验证的"补充"，而非"替代"。

三个待解的开放问题

这场讨论最终收敛到三个值得整个AI社区深思的核心问题。

第一，CoT是否正日益沦为一种昂贵的接口产物，而非可扩展的推理路径？ 从成本和忠实性两方面看，答案似乎越来越倾向于肯定。但CoT在可解释性和调试上的价值，短期内仍难以被完全取代。

第二，高风险应用是否必然需要DAG/验证外循环？ 还是说原生的模型分析接口能够有意义地减轻治理负担？这关系到未来AI系统架构的根本设计取向，也直接影响到AI系统在强监管领域的合规路径选择。

第三，如果潜在递归是内循环，外循环在实践中应该是什么？ 是DAG、单元测试、形式化规范，还是证明助手（proof assistant）？TLA+、Alloy等形式化验证工具正在探索与LLM的结合，将DAG中的关键节点纳入形式化规范的验证范畴。不同领域可能需要不同的验证机制组合。

从"读懂思考"到"验证结果"

这场讨论揭示了LLM推理研究的深层张力：可读性与效率、可解释性与能力之间的根本权衡。潜在推理代表了一条更高效、更接近"真实计算"的路径，但它以牺牲透明度为代价。

未来的答案很可能不是二选一，而是一种分层架构：潜在空间承担高效的内循环推理，符号化的外循环负责可审计的规划与验证，语言则回归其本职——作为人机沟通的接口。这一架构在工程上已有先例：Apache Airflow等工作流编排工具以DAG描述可验证的计算流程，与潜在推理的神经计算形成互补。BDH这类兼顾语言能力与状态化计算的探索，以及Coconut、HRM等将深度递归引入推理内循环的尝试，或许正是通往这一架构的重要一步。