概念activation probe / 监控探针
激活探针
附着在大语言模型特定层隐状态上的轻量级线性分类器，用于实时观测模型内部状态，将高维激活向量映射为标签，常用于AI安全监控场景
时间轴 (近 90 天)
10月30日
一个在相同调用上训练的bag-of-words分类器表现接近激活探针，表明大部分增益来自有标签的训练而非激活值本身。
待验证50%
10月27日
定位相关神经元通常需要借助激活探针或归因分析，验证编辑是否真正建立因果关系则需依赖消融实验与对照实验。
待验证50%
10月27日
目前围绕大模型的可解释性工具大致分为注意力可视化、激活探针（probing）、特征归因（如梯度类方法）以及更偏工程侧的日志与追踪。
待验证50%
10月27日
注意力可视化展示 token 之间的注意力权重分布；激活探针在隐藏层上训练线性分类器检验信息可解码性，属于相关性证据；特征归因衡量输入各维度对输出的贡献大小。
待验证50%
10月13日
激活探针是一类轻量级监控工具，通常是一个小型分类器或变换器，被训练来读取大模型推理时某一层或某几层的内部激活向量，从而判断模型当前是否正在调用某类特定知识或处于某种意图状态。
待验证50%
全部知识事实 (5)
待验证
一个在相同调用上训练的bag-of-words分类器表现接近激活探针，表明大部分增益来自有标签的训练而非激活值本身。
50%待验证定位相关神经元通常需要借助激活探针或归因分析，验证编辑是否真正建立因果关系则需依赖消融实验与对照实验。
50%待验证目前围绕大模型的可解释性工具大致分为注意力可视化、激活探针（probing）、特征归因（如梯度类方法）以及更偏工程侧的日志与追踪。
50%待验证注意力可视化展示 token 之间的注意力权重分布；激活探针在隐藏层上训练线性分类器检验信息可解码性，属于相关性证据；特征归因衡量输入各维度对输出的贡献大小。
50%待验证激活探针是一类轻量级监控工具，通常是一个小型分类器或变换器，被训练来读取大模型推理时某一层或某几层的内部激活向量，从而判断模型当前是否正在调用某类特定知识或处于某种意图状态。
50%