概念Activation Patching / 激活值修补
激活修补
机制可解释性研究中的标准因果干预方法,通过将干净运行中特定层位置的激活值替换到被污染运行中,观察输出变化,从而定位模型内部信息处理的因果关键位置
核心事实
时间轴 (近 90 天)
11月4日
权重空间编程与主流可解释性方法(探针、注意力可视化、激活修补)的根本区别在于:后者在激活空间或表征层分析,而前者试图让模型在权重数值层面建立内部映射。
待验证50%
11月4日
每一步都通过激活修补、头消融和引导因果建立。
待验证50%
9月18日
干预实验将数字提示中答案位置的临时状态在五个不同深度复制到另一个数字提示中,观察最终动物评分跟随哪一个提示,该方法本质上是激活修补(Activation Patching)技术
待验证50%
全部知识事实 (5)
已验证
AUC值域为0.5到1.0,0.5代表随机猜测、1.0代表完美预测,不受样本类别不平衡影响
75%待验证激活修补由Meng等人在2022年的ROME论文中广泛推广,其原理是将一次运行中某层的激活值移植到另一次运行中观察输出变化,从而进行因果推断
70%待验证权重空间编程与主流可解释性方法(探针、注意力可视化、激活修补)的根本区别在于:后者在激活空间或表征层分析,而前者试图让模型在权重数值层面建立内部映射。
50%待验证每一步都通过激活修补、头消融和引导因果建立。
50%待验证干预实验将数字提示中答案位置的临时状态在五个不同深度复制到另一个数字提示中,观察最终动物评分跟随哪一个提示,该方法本质上是激活修补(Activation Patching)技术
50%