MAEM：用强化学习规模化解读残差流方向

从“语料搜索”到“元模型生成”：残差流解释的范式转变

理解大语言模型内部表征的一个常见思路，是找到能强烈激活某个残差流方向的文本。传统做法是扫描语料库，看哪些文本片段与该方向的激活最匹配。但这种方法受限于语料本身包含的内容——如果语料中没有相关文本，就找不到合适的解释。

据研究博客介绍，一种名为 Maximally-Activating Example Metamodels（MAEMs，最大激活示例元模型） 的新方法试图突破这一限制。MAEM 本身是一个语言模型，它的任务是把主体模型（subject model）的残差流方向映射为能强烈激活该方向的文本示例。

MAEM 研究概览

这项工作的核心目标，是最大化给定残差流方向与 MAEM 生成文本激活之间的余弦相似度。由于该目标不需要标签，可以采用强化学习来优化，从而让 MAEM 能够规模化地处理来自不同来源的残差流方向。

残差流（residual stream） 是 Transformer 架构中贯穿各层的主干信息通道。每一层的注意力子层和前馈网络子层都会将自己的输出“加回”到这个通道上，因此残差流在任意位置都是一个高维向量，可以看作模型在该深度对当前 token 的累积表征。研究者常把残差流中的某个方向（direction）视为承载特定概念或功能的线性特征，通过在该方向上做干预（如引导向量）即可观察行为变化。理解“某个方向代表什么”，正是残差流解释的核心问题。

无标签强化学习目标如何工作

MAEM 的训练不依赖人工标注的“正确解释”，而是直接用主体模型的前向传播结果作为奖励信号。具体来说，MAEM 接收一个残差流方向向量，生成一段文本，然后把这个文本输入主体模型，计算其激活与该方向向量的余弦相似度。相似度越高，说明生成的文本越能“命中”目标方向。

这个设计的关键优势在于可验证性。与自然语言自编码器（NLA）等元模型产生的解释不同，MAEM 生成的示例可以直接通过主体模型的一次前向传播来检验——如果文本确实强烈激活了目标方向，那么它就是一个有根据的解释。这种“接地”特性让 MAEM 的目标函数适合规模化训练。

余弦相似度 衡量两个向量在方向上的接近程度，取值在 -1 到 1 之间，与向量长度无关。在 MAEM 中，它被用来比较“主体模型处理生成文本时产生的激活向量”与“目标残差流方向向量”是否指向同一方向：相似度越接近 1，说明文本激活越贴合目标方向。选择余弦相似度而非点积或欧氏距离，是因为解释关注的是方向的语义对齐，而非激活的绝对幅度，这样可以避免长度差异干扰奖励信号。

实证表现：超越语料搜索与 NLA

研究团队以 Qwen3.6-27B 为基础构建了 MAEM，并在多项任务上进行了评估。结果显示出几个值得关注的结论：

反转效果优于基线：在留出的激活方向上，MAEM 的反转效果优于语料搜索和自然语言自编码器（NLA）。
跨语言/领域优势：在多数留出的语言和领域上，MAEM 击败了使用 1000 万 token 的语料搜索。
SAE 特征覆盖：MAEM 激活了 89% 的留出 SAE 特征，说明其生成的示例能够触及稀疏自编码器捕捉到的多种语义特征。
概念识别与安全应用：在识别引导向量（steering vectors）背后的概念方面，MAEM 的表现与 NLA 大致相当；在恢复 LoRA 后门载荷的任务上，MAEM 比语料搜索更频繁地成功。
内心独白 verbalization：MAEM 甚至能够 verbalise 一些模型工作区的“内心独白”。

这些结果共同表明，MAEM 不仅能找到语料中已有的激活文本，还能生成新的、具有解释力的示例。

稀疏自编码器（SAE，Sparse Autoencoder） 是一种常用于拆解模型激活的无监督工具。它训练一个带有稀疏性约束的宽瓶颈自编码器，把稠密的残差流激活重建为一组稀疏的潜在特征，每个特征往往对应可解释的语义概念（如“法律术语”“否定语气”）。所谓“留出 SAE 特征”，指在训练 MAEM 时未直接针对、事后用于评测的特征集合。MAEM 能激活 89% 的留出特征，意味着其生成文本并非只命中少数方向，而是能覆盖 SAE 所刻画的广泛语义空间，这为“生成示例具有解释力”提供了间接证据。

与 NLA 的对比：可验证性成为分水岭

NLA（自然语言自编码器）是另一类将激活映射为自然语言解释的元模型。MAEM 与 NLA 在概念识别任务上表现相近，但两者的根本差异在于验证方式。

NLA 生成的解释本身是自然语言描述，很难直接判断其是否忠实于模型内部状态。而 MAEM 生成的是具体文本示例，可以通过主体模型的前向传播计算激活相似度，从而获得一个客观的验证分数。这种可验证性使 MAEM 更适合作为规模化训练元模型的 grounded 目标。

换句话说，MAEM 不是在“猜”模型在做什么，而是在“找”能复现该方向激活的文本。这种从生成到验证的闭环，为残差流解释提供了一条更可靠的路径。

引导向量（steering vector） 是通过对比不同输入条件下残差流激活的均值差，或对某个概念做线性探针而得到的方向向量。在推理时把它乘以一个系数加到残差流上，就能引导模型输出朝特定概念倾斜（例如更积极、更正式）。解释引导向量背后的概念，本质上是回答“这个方向在语义上代表什么”。MAEM 通过生成能复现该方向激活的文本，为引导向量提供了一种可检验的语义锚点，这也是其安全应用（如识别被注入的后门方向）的基础。

意义与局限

MAEM 的价值在于把残差流方向的解释从“检索问题”转化为“生成问题”，并用强化学习绕开了标注瓶颈。它让解释不再受限于语料覆盖范围，理论上可以处理任意方向——包括那些在现有语料中缺乏对应文本的方向。

不过，该方法目前仍以 Qwen3.6-27B 为主要实验对象，其在不同架构模型上的泛化能力有待进一步验证。此外，MAEM 生成的示例虽然能强烈激活目标方向，但“强烈激活”是否等同于“忠实解释”，仍是一个需要持续探讨的问题。研究团队将 MAEM 定位为规模化训练元模型的 grounded 替代方案，这一方向值得关注。