语言模型的沟通瓶颈：树状表达式序列化往返研究

当推理被压缩进自然语言时，会损失什么？

大语言模型在进行思维链（Chain-of-Thought）推理或以自由文本交换中间结果时，本质上都在做一件事：把结构化的信息序列化为自然语言。这种转换看似顺畅，却隐藏着一个关键问题——当有组合结构的内容被塞进一段文字描述后，究竟有多少信息能够无损地保留下来？

这项研究把矛头对准了一个具体而清晰的场景：树状结构表达式。算术表达式天然具有树状的层级与组合特性，比如 (3 + 5) × (7 - 2) 这样的式子，其运算优先级、嵌套关系构成了一棵解析树。当模型把这样一棵树"翻译"成一道应用题，再由另一个模型从题目中还原表达式时，中间的自然语言究竟成了信息的桥梁，还是成了信息的漏斗？

思维链（Chain-of-Thought，CoT）是由 Wei 等人于2022年提出的提示技术，通过引导模型在给出最终答案之前输出逐步推理过程，显著提升了大模型在数学、逻辑和常识推理任务上的表现。其核心假设是：将隐式的推理过程显式化为自然语言步骤，能够帮助模型更好地组织和利用中间信息。然而这一假设本身存在一个未被充分检验的前提——自然语言步骤是否能够无损地承载推理所需的结构化信息。当推理涉及嵌套逻辑、层级依赖或组合关系时，线性展开的文本序列与原始的树状或图状信息结构之间存在根本性的形式落差，而这正是本文研究所试图量化的核心张力。

往返协议：用符号等价做精确评判

研究提出了一套"往返"（round-trip）实验协议，用可复现的方式量化这一沟通瓶颈。整个流程由三个环节组成：

• 生成器（Generator）：将一个程序化生成的算术表达式转换为一道自然语言应用题；
• 提取器（Extractor）：仅凭这道应用题，尝试还原出原始的算术表达式；
• 符号等价判定（Symbolic Equivalence）：作为精确的"预言机"（oracle），判断还原出的表达式是否与原始表达式在数学上完全等价。

这套设计的巧妙之处在于，它把一个模糊的"语义保真度"问题，转化为一个可以精确判定对错的符号验证问题。表达式还原对不对，不靠人工打分，也不靠近似相似度，而是靠严格的符号等价——要么等价，要么不等价，没有灰色地带。

算术表达式由程序化随机生成，这意味着可以系统性地控制表达式的复杂度、嵌套深度与结构形态，从而观察不同难度下信息损失的规律。

符号等价判定（Symbolic Equivalence）在这里扮演的角色值得细说。两个算术表达式在符号层面等价，意味着它们在所有合法输入下产生相同的计算结果，且结构上可通过代数变换互相推导——例如 (3+5)×2 与 3×2+5×2 在数值上相等，但在树结构上并不相同。研究可以根据评测目的选择"数值等价"或"结构等价"作为判定标准，两种标准的严苛程度不同，对信息损失的定义也不同。使用符号等价而非数值计算的关键优势在于：它能区分"答案碰巧相同"与"结构被正确还原"这两种情况，从而更精准地捕捉自然语言在传递组合结构时的真实损耗，而不是被数值巧合所掩盖。

十六个模型的两两组合评测

研究并没有停留在单模型的自评上，而是对十六个模型的所有两两组合进行了评估。也就是说，生成器可以是模型 A，提取器可以是模型 B，覆盖了大量跨模型的"编码—解码"配对。

这种全配对（pairwise）的设计能揭示出单一模型评测无法暴露的问题：

• 某个模型可能擅长把表达式写成清晰的题目（编码强），却不擅长从别人写的题目中还原结构（解码弱），反之亦然；
• 当生成器和提取器是不同模型时，双方对自然语言的"编码约定"未必一致，沟通损失可能被放大；
• 通过对比同模型自我往返与跨模型往返的差异，可以分离出"语言表达能力"与"结构理解能力"这两个维度。

对于关心多智能体协作、模型间以自然语言交换中间结果的研究者与工程师来说，这种跨模型配对的视角格外重要——现实中的 Agent 流水线，往往正是由不同模型串联而成的。

这项研究为什么值得关注

随着思维链推理、多智能体系统、模型间文本协作成为主流范式，一个被长期忽视的假设浮出水面：自然语言真的是传递结构化信息的可靠载体吗？

这项工作给出了一个可量化的切入口。它提醒我们，当模型"想清楚了"却要用文字表达，或是需要读懂另一个模型写下的文字时，组合结构的信息可能在这一进一出之间悄然流失。这对以下场景有直接启示：

• 思维链推理：如果中间步骤的结构信息在自然语言化过程中损失，最终答案的可靠性就会受影响；
• 多智能体协作：Agent 之间以自由文本传递任务与结果时，沟通瓶颈可能成为系统性能的隐性天花板；
• 模型互操作：不同模型混搭使用时，需要评估它们在结构化信息上的"共同语言"到底有多牢固。

树状表达式只是一个受控的探针，但它所揭示的沟通瓶颈问题，具有更广泛的普适意义。随着模型越来越多地"用语言互相说话"，理解并量化这种损失，将是构建可靠 AI 系统的必要前提。

多智能体系统（Multi-Agent Systems）中，不同的 AI Agent 通常通过文本消息协作完成复杂任务，例如一个 Agent 负责规划、另一个负责执行、再由一个负责验证。这种架构下，Agent 之间传递的不只是最终答案，而是包含任务状态、中间推理和结构化指令的复杂信息。当这些信息必须以自然语言编码时，接收方 Agent 能否准确解析发送方的意图，在很大程度上取决于双方对语言的"理解模式"是否兼容。本文所揭示的跨模型沟通损耗，在多 Agent 流水线中会随着节点数量增加而累积放大——每经过一次"编码→解码"循环，结构信息就可能再损失一部分，最终导致任务执行的偏差难以追溯到具体的信息丢失节点。