稀疏自编码器揭示大模型语法数表征机制

大语言模型内部如何表征语法知识，一直是机制可解释性研究的核心问题。一项新研究利用稀疏自编码器（SAE）对Pythia-70M模型进行深入剖析，揭示了语法数（单复数）在模型中的编码与传播方式，并在Gemma-2-2b和Llama-3.1-8b上验证了主要发现。

SAE：打开语言模型黑箱的钥匙

稀疏自编码器近年成为将LLM隐藏状态向量转化为人类可理解特征列表的流行工具。研究者认为，SAE有望揭示模型的内部“心智语法”，这对AI行为的机制解释和人类语言的计算表征研究都具有理论价值。

该研究选用的Pythia-70M参数量不足1亿，训练语料规模较小，尽管生成内容的可靠性有限，但模型仍展现出较强的语法能力和语篇连贯性，这使其成为研究语法表征的理想对象。

稀疏自编码器（Sparse Autoencoder, SAE）是一种无监督学习模型，通常由编码器和解码器组成，中间设有一个过完备的隐藏层。其训练目标是最小化输入（如LLM的隐藏状态向量）与重构输出之间的误差，同时对隐藏层施加稀疏性约束（如L1正则化），使得每个输入仅由少数隐藏单元激活来表示。在机制可解释性研究中，SAE被应用于分解LLM中稠密、叠加的神经元激活，将其转化为稀疏、人类可读的特征方向。每个特征方向对应一个语义或语法概念，例如“复数名词”或“法律术语”。通过分析这些特征，研究者能够定位模型内部的具体知识表示，并进行干预实验，从而建立因果关系。SAE的优势在于能够自动发现大量可解释特征，克服了手动标注的瓶颈，成为当前LLM可解释性研究的重要工具。

复数特征的发现与干预实验

研究者用SAE在Pythia-70M上找到了与语法数相关的特征，包括“复数名词”“复数主语”和“生成复数动词”。这些特征能够驱动模型在面对“the men in the park”这类提示时，输出“are”“do”“have”等复数动词形式，而非“is”“does”“has”。

更关键的是干预实验：从复数主语名词 token 的隐藏状态中移除这些特征，模型会转而生成单数动词；反向操作也成立。这直接证明了这些特征与语法数处理之间的因果联系，而不仅仅是相关性。

干预实验（intervention experiment）是机制可解释性研究中建立因果关系的核心方法。其基本流程是：首先通过SAE或探针识别与特定任务相关的特征方向，然后人为修改模型激活值（如消融、放大或替换特定特征），观察模型输出的变化。在本研究中，研究者从复数主语名词的隐藏状态中移除复数特征，发现模型转而生成单数动词；反之，增强这些特征则促进复数动词生成。这种“消融-验证”范式能够区分相关性与因果性，因为仅观察特征激活与输出之间的相关性不足以证明特征驱动了行为。干预实验通过主动操纵内部状态，提供了更强的因果证据，已成为可解释性研究的标准工具之一。

单复数表征的不对称性

研究揭示了一个耐人寻味的现象：对应的“单数名词”和“生成单数动词”特征在相同任务中效果不佳。这种不对称性暗示，Pythia-70M在英语语法数上采用的是“privative representation”（缺省性表征），即复数被显式编码，而单数可能是默认状态。

这一发现与语言学中关于标记性的讨论相呼应——复数通常被视为有标记形式，单数则是无标记的默认形式。模型内部表征似乎也复现了这一不对称。

缺省性表征（privative representation）是语言学中的一个概念，指两个对立范畴中仅有一个被显式标记，另一个则作为默认或无标记状态存在。例如，在英语名词单复数系统中，复数通常通过添加词缀（如-s）明确标记，而单数则往往无标记，被视为默认形式。这种不对称性在语言类型学中被称为标记性（markedness）差异。在神经网络中，缺省性表征意味着模型可能仅对复数特征进行显式编码，而单数则通过缺乏复数特征来隐式表示。干预实验支持了这一解读：移除复数特征导致单数输出，而增强单数特征却效果有限。这表明模型内部可能复现了语言学的标记性模式，为计算语言学与神经语言学的交叉研究提供了新证据。

跨模型验证与方法论贡献

为检验结论的普适性，研究者在更大的Gemma-2-2b和Llama-3.1-8b上重复了实验，得到了相似结果。这表明语法数的缺省性表征可能并非小模型的特例，而是更广泛存在于不同规模的语言模型中。

该研究的主要贡献在于提出了一套利用SAE理解LLM语言编码的新方法，并解决了若干技术和方法论挑战。对于机制可解释性领域而言，这提供了一条从特征发现到因果干预的完整路径，也为后续研究其他语法现象奠定了基础。