激活引导
机械可解释性领域的因果干预技术,通过在模型前向传播过程中向残差流注入预提取的概念方向向量,直接操控模型内部状态以研究特定表征与行为之间的因果关系
核心事实
时间轴 (近 90 天)
新研究指出,激活引导的输入依赖性真实存在,并且可以在任何规则被拟合或应用之前就被测量出来。
研究提出一个可操作判据:激活引导编辑应当依赖输入,当且仅当目标方向在查询所请求的类别内部发生变化;该判据基于仅从状态计算出的四个量。
研究将引导编辑的输入依赖性建模为一个连续谱,一端是类均值差,另一端是逐查询检索的目标方向。
激活引导(activation steering)是一种在推理时干预模型内部表征的技术,通过将“诚实向量”加到模型的中间激活上,在不修改权重的情况下引导模型倾向于诚实输出。
近年来的表征工程和激活引导研究表明,某些语义或风格属性(如情感倾向、拒绝行为)在激活空间中存在近似线性的方向,沿该方向加减向量即可调控模型输出。
激活引导是一种无需重新训练模型的推理时干预技术:在生成每个token时,向特定层的隐藏状态加上一个缩放后的方向向量(h ← h + α·v),α控制干预强度、v是目标方向。
与微调不同,激活引导即时生效、可逐句调节强度,且不改变模型权重。
研究者通过激活向量引导生成过程,使模型输出的隐喻密度发生可测量的变化。
激活引导是一种在推理时干预模型内部隐藏层表示的技术,代表性方法有对比激活添加(CAA)和推理时干预(ITI)。
知识提取增强(KEE)技术包括激活引导、解码调整和提示工程三类,它们会修改推理过程,可能强化已有预测,也可能让不易触达的答案浮现出来。
还有 7 条时间轴事件
全部知识事实 (18)
模型引导(steering)通过在推理过程中直接修改中间层的激活向量,在不修改权重的前提下影响模型输出行为
85%已验证激活引导是一种无需重新训练模型的推理时干预技术:在生成每个token时,向特定层的隐藏状态加上一个缩放后的方向向量(h ← h + α·v),α控制干预强度、v是目标方向。
75%待验证研究提出一个可操作判据:激活引导编辑应当依赖输入,当且仅当目标方向在查询所请求的类别内部发生变化;该判据基于仅从状态计算出的四个量。
50%待验证新研究指出,激活引导的输入依赖性真实存在,并且可以在任何规则被拟合或应用之前就被测量出来。
50%待验证研究将引导编辑的输入依赖性建模为一个连续谱,一端是类均值差,另一端是逐查询检索的目标方向。
50%待验证激活引导(activation steering)是一种在推理时干预模型内部表征的技术,通过将“诚实向量”加到模型的中间激活上,在不修改权重的情况下引导模型倾向于诚实输出。
50%待验证近年来的表征工程和激活引导研究表明,某些语义或风格属性(如情感倾向、拒绝行为)在激活空间中存在近似线性的方向,沿该方向加减向量即可调控模型输出。
50%待验证研究者通过激活向量引导生成过程,使模型输出的隐喻密度发生可测量的变化。
50%待验证与微调不同,激活引导即时生效、可逐句调节强度,且不改变模型权重。
50%待验证激活引导是一种在推理时干预模型内部隐藏层表示的技术,代表性方法有对比激活添加(CAA)和推理时干预(ITI)。
50%待验证知识提取增强(KEE)技术包括激活引导、解码调整和提示工程三类,它们会修改推理过程,可能强化已有预测,也可能让不易触达的答案浮现出来。
50%待验证激活引导(activation-based steering)直接干预模型内部激活方向,而提示引导(prompt-based)则通过输入文本间接影响,两者在多轮累积误差下的表现差异是该研究比较的核心。
50%待验证激活引导(activation steering)的基本操作是找到代表某概念的激活方向向量,在推理时叠加到中间层激活上,从而在不改变权重的情况下干预输出
50%待验证线性引导依赖线性表征假设,当概念分布本身弯曲时,沿固定方向推移激活会偏离真实概念流形,导致控制失真或产生不自然的中间状态
50%待验证一项发表于arXiv的研究(arXiv:2609.38205)研究了系统提示对Transformer内部计算的影响
50%待验证激活引导(activation steering)或表示工程(representation engineering)直接在模型的内部激活层上施加干预向量,在不修改模型权重的情况下改变生成方向
50%待验证向残差流注入向量是机械可解释性领域常用的因果干预手段,直接作用于模型中间表征而非词汇层面
50%待验证在语言模型驱动的兵棋推演中,模型的语言输出同时决定了一个行为体试图做什么以及什么成为了被模拟的现实
50%