[控场AI]
概念Activation Patching / 激活值修补

激活修补

机制可解释性研究中的标准因果干预方法,通过将干净运行中特定层位置的激活值替换到被污染运行中,观察输出变化,从而定位模型内部信息处理的因果关键位置

核心事实

时间轴 (近 90 天)

11月4日

权重空间编程与主流可解释性方法(探针、注意力可视化、激活修补)的根本区别在于:后者在激活空间或表征层分析,而前者试图让模型在权重数值层面建立内部映射。

待验证50%
11月4日

每一步都通过激活修补、头消融和引导因果建立。

待验证50%
9月18日

干预实验将数字提示中答案位置的临时状态在五个不同深度复制到另一个数字提示中,观察最终动物评分跟随哪一个提示,该方法本质上是激活修补(Activation Patching)技术

待验证50%

全部知识事实 (5)

来源文章