残差流
Transformer架构中贯穿全网络的主干信息流，各层注意力头和前馈网络以加法形式将输出叠加其上，是激活修补等可解释性方法的主要操作对象
时间轴 (近 90 天)
拒绝行为很大程度上由残差流中的单一方向介导，通常用有害提示与无害提示之间的均值差向量来计算。
残差流是 Transformer 中贯穿所有层、维度固定的向量流，模型的中间计算状态累积其中，可作为读取内部状态的入口。
Neel Nanda强调SAE在残差流上依然不可替代。
激活引导（activation steering）的基本操作是找到代表某概念的激活方向向量，在推理时叠加到中间层激活上，从而在不改变权重的情况下干预输出
残差流是Transformer架构的核心信息通道，每一层的注意力头和MLP模块以读取-处理-写回的方式与残差流交互
在有效的组件机制内部，引导效果进一步集中在残差流的约50%维度上，这部分维度保留了85%–98%的组件机制基线效果
向残差流注入向量是机械可解释性领域常用的因果干预手段，直接作用于模型中间表征而非词汇层面
在语言模型驱动的兵棋推演中，模型的语言输出同时决定了一个行为体试图做什么以及什么成为了被模拟的现实
该框架把残差流（residual stream）视为模型各层之间的通信总线，注意力头和MLP从中读取信息并写回
Arditi风格编辑源自2024年Andy Arditi等人的研究，核心发现是大语言模型的拒绝行为可以被定位到残差流中的单一方向向量
全部知识事实 (10)
拒绝行为很大程度上由残差流中的单一方向介导，通常用有害提示与无害提示之间的均值差向量来计算。
50%待验证残差流是 Transformer 中贯穿所有层、维度固定的向量流，模型的中间计算状态累积其中，可作为读取内部状态的入口。
50%待验证Neel Nanda强调SAE在残差流上依然不可替代。
50%待验证激活引导（activation steering）的基本操作是找到代表某概念的激活方向向量，在推理时叠加到中间层激活上，从而在不改变权重的情况下干预输出
50%待验证残差流是Transformer架构的核心信息通道，每一层的注意力头和MLP模块以读取-处理-写回的方式与残差流交互
50%待验证在有效的组件机制内部，引导效果进一步集中在残差流的约50%维度上，这部分维度保留了85%–98%的组件机制基线效果
50%待验证向残差流注入向量是机械可解释性领域常用的因果干预手段，直接作用于模型中间表征而非词汇层面
50%待验证在语言模型驱动的兵棋推演中，模型的语言输出同时决定了一个行为体试图做什么以及什么成为了被模拟的现实
50%待验证该框架把残差流（residual stream）视为模型各层之间的通信总线，注意力头和MLP从中读取信息并写回
50%待验证Arditi风格编辑源自2024年Andy Arditi等人的研究，核心发现是大语言模型的拒绝行为可以被定位到残差流中的单一方向向量
50%