[控场AI]
概念attention visualization

注意力可视化

展示 token 之间注意力权重分布的可解释性方法,直观但难以直接对应到语义计算

时间轴 (近 90 天)

11月4日

权重空间编程与主流可解释性方法(探针、注意力可视化、激活修补)的根本区别在于:后者在激活空间或表征层分析,而前者试图让模型在权重数值层面建立内部映射。

待验证50%
11月3日

模型可解释性工具(如注意力可视化、探针分类器、机制可解释性分析)目前只能提供局部洞察,尚不能给出完整的行为保证。

待验证50%
10月27日

目前围绕大模型的可解释性工具大致分为注意力可视化、激活探针(probing)、特征归因(如梯度类方法)以及更偏工程侧的日志与追踪。

待验证50%
10月27日

注意力可视化展示 token 之间的注意力权重分布;激活探针在隐藏层上训练线性分类器检验信息可解码性,属于相关性证据;特征归因衡量输入各维度对输出的贡献大小。

待验证50%
10月22日

当前可解释性主流路径包括事后归因方法(如注意力可视化、SHAP)与机制可解释性(如稀疏自编码器、电路分析),后者试图在神经元激活层面定位可识别的「特征电路」。

待验证50%

全部知识事实 (5)

来源文章