思维链为何让人高估AI理解力？

AI产品正在大规模渗透日常生活，围绕「这些系统到底是什么、能做什么、不能做什么」的一套民间信念体系也在成型。其中流传最广的一条是：模型能把推理过程一步步写出来，就说明它真的「理解」了问题。一篇来自rss的论文对这一直觉提出了系统性质疑，并把矛头指向了思维链（Chain-of-Thought, CoT）这一被广泛当作「可解释性」卖点的技术实践。

把语言形式误读为理解，是整条误区的起点

论文的核心判断并不新鲜，但论证路径值得注意：生成式模型复现的是语言模式，而非语义本身。当用户看到模型输出结构完整、逻辑连贯的解释文本时，很容易把这种「形式上的合理性」当成「内容上的理解力」。作者将这种误读称为一种错误归因（misattribution）。

问题在于，CoT让这种误读变得更难被识破。模型被要求「解释自己的推理」，输出的却仍是一段符合人类解释习惯的语言模式。用户看到的不是模型内部真实的计算过程，而是一个在语言层面高度逼真的叙事。形式越像解释，误判的门槛就越低。

思维链（Chain-of-Thought, CoT） 指通过提示词或训练让语言模型在给出最终答案前生成一系列中间推理步骤的技术。它最早由 Wei 等人在 2022 年提出，核心发现是：让模型「一步一步想」能显著提升数学、逻辑等任务的准确率。关键在于，这些步骤是模型自回归生成的 token 序列，并非对内部计算轨迹的读取或反编译——模型并没有一个可被「展示」的隐藏推理模块。因此 CoT 文本在因果上并不保证与模型实际得出答案的计算过程一致，这也是论文将它称为「语言层面高度逼真的叙事」的技术根据。

拟人化、认知优越感与决策让渡的连锁反应

论文提出了一条值得警惕的传导链条：拟人化（anthropomorphism）→ 感知到的认知优越性（perceived epistemic superiority）→ 认知顺从（cognitive deference）。

用户一旦把系统当作具有意图的「心智」来对待，就更容易认为它在认知上比自己更可靠。这种感知上的权威感，使得用户愿意把判断权交出去——作者用「取代人类能动性」（displaces human agency）来描述这一后果。更隐蔽的风险是「组合谬误」（fallacy of composition）：用户从模型在某个狭窄任务上的出色表现，外推到它在更广泛能力上的可靠性。CoT恰恰为这种外推提供了看似扎实的「证据」。

组合谬误（fallacy of composition） 源自逻辑学与经济学，指从部分性质推断整体性质无效的推理错误，例如「每个零件都轻，所以整台机器轻」。在本文语境中，它指用户把模型在某个窄任务上的可靠表现，外推为模型在整体能力上的可靠。对语言模型而言，这种外推尤其危险：能力分布高度不均衡，擅长写代码未必擅长医学判断，而 CoT 输出的连贯解释恰恰抹平了任务之间的边界感，让外推显得有据可依。

医学场景：最需要谨慎的领域，最容易被误导

论文以医学为例展开CoT的现实影响分析。医疗决策对解释的要求极高，而CoT给出的「推理过程」在形式上满足了解释的外观，却未必对应真实的决策依据。当患者或医生因为一段条理清晰的推理文本而提高对系统判断的信任度时，拟人化与认知优越感的叠加效应会被放大。

作者的结论相当直接：以CoT方式实现的可解释性「高度成问题」，并且会削弱它本应服务的那些伦理原则。换句话说，用来建立信任的机制，反而可能制造出超越实际水平的信任。

可解释性（explainability） 在 AI 伦理与监管中通常指系统能够向利益相关者说明其决策依据的性质，欧盟《AI 法案》等框架将高风险场景（医疗、信贷、招聘）的透明度要求写入义务条款。但可解释性研究区分「事后解释」（post-hoc explanation，即事后构造一段看起来合理的理由）与「忠实解释」（faithful explanation，即真实反映模型的决策依据）。CoT 属于前者：它生成的是符合人类解释习惯的文本，而非对决策机制的忠实刻画，因此在监管意义上满足「有解释」的形式要求，却可能不满足忠实性要求。

论文给出的实践建议

论文并未全盘否定CoT。作者承认，在提升输出准确性和内容审核方面，CoT仍有价值。分歧在于使用场景：让模型面向用户输出「理由」，这件事应当被主动劝阻。话说回来，AI素养培训需要明确警示用户，不要把模型生成的推理文本当作理解力或可靠性的证据。

这一区分颇具操作性——CoT作为内部工程手段可以使用，作为面向用户的信任背书则应当收手。当前多数产品把「展示思考过程」当作透明度的卖点，论文的提醒因此显得相当反直觉，也更值得产品设计者认真对待。

编辑视角

这篇论文的价值在于把「AI是否理解」这个偏哲学的问题，落到了具体的产品交互上：一次「展开推理过程」的点击，可能就在悄悄改变用户对系统的信任校准。不过需要说明，论文以论证和观点推演为主，素材中未见大规模用户实验或量化数据支撑其传导链条，各环节的效应强度仍有待实证检验。对AI产品团队而言，更务实的做法或许是重新审视「展示推理」这一设计的默认开启状态，并配套相应的用户提示。