概念attention visualization
注意力可视化
展示 token 之间注意力权重分布的可解释性方法,直观但难以直接对应到语义计算
时间轴 (近 90 天)
11月4日
权重空间编程与主流可解释性方法(探针、注意力可视化、激活修补)的根本区别在于:后者在激活空间或表征层分析,而前者试图让模型在权重数值层面建立内部映射。
待验证50%
11月3日
模型可解释性工具(如注意力可视化、探针分类器、机制可解释性分析)目前只能提供局部洞察,尚不能给出完整的行为保证。
待验证50%
10月27日
目前围绕大模型的可解释性工具大致分为注意力可视化、激活探针(probing)、特征归因(如梯度类方法)以及更偏工程侧的日志与追踪。
待验证50%
10月27日
注意力可视化展示 token 之间的注意力权重分布;激活探针在隐藏层上训练线性分类器检验信息可解码性,属于相关性证据;特征归因衡量输入各维度对输出的贡献大小。
待验证50%
10月22日
当前可解释性主流路径包括事后归因方法(如注意力可视化、SHAP)与机制可解释性(如稀疏自编码器、电路分析),后者试图在神经元激活层面定位可识别的「特征电路」。
待验证50%
全部知识事实 (5)
待验证
权重空间编程与主流可解释性方法(探针、注意力可视化、激活修补)的根本区别在于:后者在激活空间或表征层分析,而前者试图让模型在权重数值层面建立内部映射。
50%待验证模型可解释性工具(如注意力可视化、探针分类器、机制可解释性分析)目前只能提供局部洞察,尚不能给出完整的行为保证。
50%待验证目前围绕大模型的可解释性工具大致分为注意力可视化、激活探针(probing)、特征归因(如梯度类方法)以及更偏工程侧的日志与追踪。
50%待验证注意力可视化展示 token 之间的注意力权重分布;激活探针在隐藏层上训练线性分类器检验信息可解码性,属于相关性证据;特征归因衡量输入各维度对输出的贡献大小。
50%待验证当前可解释性主流路径包括事后归因方法(如注意力可视化、SHAP)与机制可解释性(如稀疏自编码器、电路分析),后者试图在神经元激活层面定位可识别的「特征电路」。
50%