真理没有方向：塔斯基悖论如何挑战LLM真理探针技术

引言：我们真的能"读出"AI的想法吗？

随着大语言模型（LLM）能力的飞速提升，一个关键的安全问题浮出水面：我们如何知道模型"心里"想的是真话还是假话？为了回答这个问题，AI可解释性研究领域诞生了一类被称为"探针"（probes）的技术——研究者试图在模型的内部激活状态中，找到一个所谓的"真理方向"（truth direction），从而判断模型是否"相信"自己输出的内容是真实的。

然而，一篇名为《Truth is not a direction: a Tarski attack on LLM probes》的研究，对这一广受欢迎的技术路线提出了根本性的质疑。它借用了逻辑学家阿尔弗雷德·塔斯基（Alfred Tarski）关于真理的经典理论，向整个"线性真理探针"的假设发起了挑战。

什么是LLM真理探针？

线性表示假说的核心主张

LLM探针本质上是一种诊断工具。研究者会训练一个简单的分类器（通常是线性分类器），输入是模型在处理某个陈述时的内部激活向量，输出是"真"或"假"的判断。

这一做法背后的核心假设是线性表示假说（Linear Representation Hypothesis）：即模型的高层语义概念——包括"真实性"——在其激活空间中以线性方向的形式被编码。如果这个假设成立，那么理论上就存在一个"真理方向"，任何陈述在这个方向上的投影大小，就代表了模型对其真实性的内部信念。

这一假说并非凭空产生，而是有着深厚的经验基础。早在Word2Vec时代，研究者就发现词向量空间中存在有意义的线性关系（如"国王-男人+女人≈女王"）。这一发现后来被推广到更大规模的语言模型中。2023-2024年间，Anthropic、OpenAI等机构的可解释性团队发现，GPT和Claude等模型的中间层激活中，情感极性、事实性、毒性等高层概念似乎都可以用线性方向来近似。具体操作上，研究者通常提取模型某一层（如中间层或倒数第二层）处理特定token时的激活向量，然后用主成分分析（PCA）或对比学习方法找到区分不同概念的方向。代表性工作包括Marks & Tegmark（2023）的"几何体真理"实验和Li等人的"推断时间干预"技术。

这类研究之所以重要，是因为它承载着一个诱人的承诺：如果我们能可靠地读出模型内部的"真话检测器"，就能在很大程度上缓解AI幻觉、欺骗甚至潜在的失控风险。

探针技术在AI安全中的应用价值

从AI安全的角度看，探针提供了一种"绕过输出层"的监督手段。模型可能在文字上撒谎，但如果它的内部激活出卖了真相，我们就掌握了一把审视其"诚实度"的钥匙。正因如此，近年来大量论文报告称在多个数据集上成功训练出了高精度的真理探针。

塔斯基的幽灵：真理为何不能被简单编码

塔斯基的形式化真理定义

这篇研究的核心武器，来自塔斯基在20世纪30年代提出的形式化真理理论。塔斯基指出，真理（truth）是一个语义层面的谓词，它无法在系统自身的语言内部被完整、一致地定义——否则会导致类似"说谎者悖论"（"这句话是假的"）的自指矛盾。

阿尔弗雷德·塔斯基（1901-1983）是20世纪最重要的逻辑学家之一，他在1933年发表的《形式化语言中的真理概念》奠定了现代真理论的基础。塔斯基提出了著名的"T-模式"（T-schema）：句子"P"为真，当且仅当P。例如，"雪是白的"为真，当且仅当雪是白的。这看似同义反复，实则揭示了一个深刻的结构性限制：要定义语言L中句子的真理性，必须在一个比L更强的元语言中进行。这就是塔斯基的"不可定义性定理"——一个足够强的一致形式系统无法在其内部定义自身的真理谓词。这一结论与哥德尔不完备定理有着深刻的联系，二者都揭示了形式系统自指能力的根本局限。

说谎者悖论（Liar Paradox）本身是逻辑学中最古老的悖论之一，可追溯到古希腊的埃皮门尼德斯。其现代形式为：考虑句子L="L是假的"。如果L为真，则按其内容L应为假；如果L为假，则L的陈述内容得到满足，L应为真。这种自指导致的矛盾正是塔斯基发展其真理理论的起点。塔斯基的解决方案是建立严格的语言层级：对象语言中的句子只能由元语言中的真理谓词来评判。

换言之，真理不是陈述本身的一个内在属性，而是陈述与外部世界之间关系的产物。判断"雪是白的"是否为真，取决于外部现实中雪的颜色，而不取决于这句话在某个向量空间里的位置。

塔斯基式攻击对"真理方向"的直接冲击

作者由此发起了所谓的"塔斯基式攻击"（Tarski attack）。其论证逻辑大致是：如果真理是一个依赖外部世界、且在逻辑上无法被系统内部完整定义的语义谓词，那么试图在模型的内部激活空间中找到一个固定的"真理方向"，从原理上就是有问题的。在本文的语境中，如果将LLM视为一个形式系统，那么试图在其内部激活空间中完整编码"真理"这一概念，就面临着类似的逻辑障碍——模型关于自身输出真实性的"内部判断"可能面临层级混淆问题。

探针所捕捉到的，很可能并不是抽象的"真实性"本身，而是与真实性相关的表层特征——比如陈述的常见程度、语法结构、话题领域，或是训练数据中的统计偏差。当测试分布发生变化，或者遇到精心构造的对抗样本时，这些探针就会失效，因为它们从未真正编码"真理"。

这对AI可解释性研究意味着什么

高精度探针可能是一种统计幻觉

这项研究提醒我们警惕一个常见陷阱：探针在测试集上的高准确率，未必意味着它找到了真正的语义概念。它可能只是学会了利用数据集中的"捷径特征"（spurious correlations）。当我们把真理探针部署到更广泛、更复杂的真实场景中时，其可靠性会大打折扣。

捷径特征（shortcut features）或虚假相关是机器学习中广泛存在的问题。经典案例包括：用于分类狼和哈士奇的模型实际上学会了识别背景中的雪地；自然语言推理模型发现含有"not"的前提更可能标注为"矛盾"关系，从而利用这一统计捷径而非真正理解语义。在真理探针的语境中，类似的捷径可能包括：事实陈述往往使用更正式的语法结构、常识性真命题在训练语料中出现频率更高、虚假陈述可能包含更多限定词或不常见的实体组合。如果探针学到的是这些表层信号而非深层的"真实性"表征，那么面对分布外数据（如精心构造的虚假但流畅的陈述，或非常规表述的真命题），探针的表现就会急剧下降。

这与可解释性领域反复出现的教训一致：我们容易把"能预测"误认为"已理解"。一个能在特定数据集上区分真假陈述的方向，和一个真正编码了模型"信念"的方向，二者之间存在着巨大的鸿沟。

探针评估需要更严格的框架

如果作者的论证成立，那么对真理探针的评估就不能仅停留在同分布测试集上。研究者需要引入以下评估维度：

• 分布外测试：使用与训练数据显著不同的陈述进行验证
• 对抗性评估：构造专门针对探针弱点的对抗样本
• 跨领域验证：测试探针在不同知识领域间的泛化能力
• 跨语言验证：确认探针捕捉的信号是否具有语言无关性

更进一步，这也促使我们重新思考"真实性"在神经网络中究竟以何种形式存在——它或许不是一个整齐的线性方向，而是一种分布式的、与上下文高度纠缠的复杂结构。

当前有几种替代假说值得关注。第一种是"分布式表示"观点：真实性信息分散在数千个神经元的共同激活模式中，无法用单一方向概括。第二种是"上下文依赖"假说：同一概念在不同上下文中可能占据激活空间的不同区域，形成弯曲的流形（manifold）而非直线。第三种是"多义性"（polysemanticity）视角：由Anthropic的研究揭示，单个神经元和方向往往同时编码多个不相关的概念，这使得提取"纯净"的真理信号变得极其困难。稀疏自编码器（SAE）等新工具正在试图解开这种多义性纠缠，但目前尚无证据表明它们能可靠地分离出纯粹的真实性特征。

结语：谦逊面对模型的"内心世界"

这篇研究的价值，不在于彻底否定探针技术，而在于为一个过于乐观的技术叙事注入必要的审慎。它用逻辑学的经典成果提醒我们："真理"是一个远比工程直觉复杂的概念，它天然带有跨系统、依赖外部世界的语义属性。

对于致力于AI安全与可解释性的研究者而言，这意味着我们需要放下"找到一个方向就能读懂AI"的浪漫幻想，转而以更严谨、更谦逊的态度去理解这些黑箱系统。真正的诚实检测，或许远比一个向量投影要难得多。

（注：本文基于Hacker News上分享的同名研究讨论撰写，相关论证细节有待原文进一步佐证。）