LLM激活引导该不该依赖输入？新研究给出可测判据

固定方向引导的局限：类内变化被忽略

大语言模型（LLM）的激活引导（activation steering）是一种无需微调就能改变模型行为的技术：在推理时向隐藏状态注入一个方向向量，从而引导输出朝向期望的属性。其中，对比激活加法（Contrastive Activation Addition, CAA）是最常用的做法——对每个输入都加上同一个固定方向，该方向由两类样本的均值之差计算得到。

这种方法简单有效，但它默认了一个前提：所需的方向对所有输入都一样。而问题恰恰出在这里。CAA 只捕获了类间差异（between-class variation），却完全忽略了类内差异（within-class variation）。也就是说，即使用户请求的是同一个类别，不同查询所需的具体位移方向也可能不同，而固定方向无法表达这种差异。更关键的是，一篇新研究指出，这种输入依赖性不仅真实存在，而且可以在任何规则被拟合或应用之前就被测量出来。

激活引导（activation steering） 是一类在推理阶段干预模型内部表示的技术总称。其核心操作是：在 Transformer 的某一层（通常是残差流）的隐藏状态上加上一个向量，使后续计算偏向某个语义属性，而无需更新任何权重。常见变体包括对比激活加法（CAA）、推理时干预（ITI）和稀疏自编码器特征引导等。CAA 的具体做法是：构造正负样本对，分别前向传播取得对应层的隐藏状态，计算两类均值之差作为“方向”，推理时对所有输入统一加上该方向乘以缩放系数。其有效性依赖线性表示假设——即目标属性在激活空间中近似对应一个线性方向。然而，线性方向只刻画了属性在总体上的均值偏移，无法表达同一属性在不同语境下所需偏移量或偏移方向的差异，这正是固定方向方法的理论盲区。

从均值差到逐查询检索：输入依赖的连续谱

研究将引导编辑的输入依赖性建模为一个连续谱，两端分别是两种基线。一端是经典的类均值差（difference of means），另一端则是逐查询检索的目标方向：在请求的类别内部，找到与当前查询状态最近的 k 个存储状态，取它们的均值作为引导方向。

这个设计巧妙的地方在于，两种基线并非彼此独立——当 k 等于类别大小时，检索规则就退化为类条件均值差。因此，研究实际上是在一个统一的框架内，系统性地调节“编辑对输入的依赖程度”，并观察这种调节对引导效果的影响。作者将这一思路概括为：激活引导编辑应当依赖输入，当且仅当目标方向在查询所请求的类别内部发生变化；而这一条件是可测的。

这提供了一个可操作的判据：在拟合任何规则之前，先判断当前任务属于哪种情形——类内方向一致，还是类内方向变化。判据的依据是仅从状态计算出的四个量，它们能够识别出编辑应该以何种方式应用。

类间差异（between-class variation） 指不同类别样本均值之间的差距，例如“正面情感”与“负面情感”激活均值的差；CAA 的方向向量正是类间差异的估计。类内差异（within-class variation） 则指同一类别内部不同样本相对于该类均值的离散程度。当类内方差很小且方向一致时，类均值差足以概括该类的属性方向；但当类内样本围绕均值呈多峰分布或方向分散时，单一均值差就会丢失关键信息。逐查询检索本质上是用非参数方法估计局部条件均值：对每个查询，只聚合其邻域内的存储状态，从而让引导方向随查询变化。k 近邻的 k 值实际上充当了平滑参数——k 越大，估计越接近全局类均值，输入依赖性越弱；k 越小，估计越局部化，输入依赖性越强。这一连续谱为系统研究“需要多少输入依赖”提供了可控的实验旋钮。

实验：词级与从句级编辑的不同规律

研究在六个替换语料库和一个外部基准上进行了评估，这些语料库的区别在于编辑改变的是一个词还是一个从句。结果显示，当目标方向在类内发生变化时，输入依赖的引导显著优于固定方向引导。

更细粒度的发现体现在网络深度和检索邻居数的配合上。在两个模型、每个替换语料库的每一层中，检索方法都取得了更优表现。但需要多少输入依赖性，决定了它应当如何应用：

• 词级编辑：最适合在网络的前十分之一层、基于少量邻居进行引导；
• 从句级编辑：在任何深度使用类均值即可；

这一差异说明，“越依赖输入越好”并不成立。编辑粒度不同，对引导规则灵活性的需求也不同，盲目增加检索复杂度反而可能无益。

另一个值得注意的边界条件是：当类别本身已经决定了答案时，类均值就足够了，检索方法只能与之持平——尽管如此，固定方向在这种情形下依然会失败。换言之，类条件均值是一个稳健的中间选择，而完全没有输入依赖的固定方向则是最脆弱的一端。

可测判据的实践意义

论文提出的四个状态量构成了一个轻量级的诊断工具。对于实践者而言，这意味着不必先跑一遍完整的引导实验再比较效果，而是可以直接从模型的隐藏状态判断：当前任务是否值得引入输入依赖的引导规则。这降低了选择引导策略的试错成本，也为 CAA 的适用范围划出了清晰边界。

网络深度 在此处指 Transformer 的层索引。浅层（如前十分之一层）的隐藏状态更接近词法/句法特征，深层则更多承载语义和任务相关抽象。词级替换任务（如改变某个词的情感极性）所需的编辑信号在浅层即可被有效捕获，因为词的身份信息在浅层表示中最为显著；而从句级替换涉及组合语义的重新组织，其方向在更深的层才趋于稳定，因此类均值在各深度均有效。替换语料库 指专门构造的评测集：每个样本包含原始输入、目标替换后的期望输出，以及用于计算引导方向的配对样本。六个语料库分别覆盖不同粒度的替换操作，外部基准则用于检验泛化性。这些设计使得“编辑粒度—网络深度—邻居数”三者的交互关系得以被系统刻画，而非停留在单一任务上的经验性结论。

对引导技术实践的启示

这项工作传递的核心信息是，激活引导的设计不应停留在“加一个方向”的层面，而应根据任务的结构特征选择编辑的依赖程度。固定方向并非一无是处，但它的有效性依赖于一个强假设：请求类别内的目标方向不变。一旦这个假设不成立，输入依赖的编辑就成为必要。

同时，研究也提示了效率与效果的平衡点：词级任务只需在网络浅层、用少数邻居就能获得收益，而从句级任务用类均值即可，不必过度工程化。这种分层的指导原则，比笼统地宣称某种方法更优更具实用价值。

对于正在使用 CAA 或类似技术的开发者，一个直接的建议是：在用固定方向之前，先检查类内目标方向是否变化。若变化明显，考虑引入检索式引导；若类别已决定答案，则类均值足以应对。这四量判据提供了一个低成本的前置检查手段，帮助在拟合规则之前就做出正确的架构选择。