线性探针
一种轻量级可解释性工具,在模型激活之上训练线性分类器预测某个属性(如情感、语法性),权重被视作该属性在激活空间中的方向
核心事实
时间轴 (近 90 天)
线性探针可以在多代理环境中于输出生成前识别出即将泄密的模型调用。
在生成之前发出的警告可以让监督者在代理即将屈服时将其停止,从而防止风险扩散。
线性假设可能无法捕捉复杂的非线性决策边界。
线性探针的推理成本极低,因为它不改变模型本身,只读取内部表征。
如果在任何警报上都停止执行,大多数良性对话片段都会被中断。
线性探针更多读取的是“即将披露”这一信号,而非“违规”本身,因此可能无法准确区分合规的信息分享与规则违反。
在gpt-oss-20b上,对其推理过程进行探针探测达到了0.91的AUROC。
在相似标记率下,零样本决策模型监控器仅捕获26%的泄密调用,而线性探针为82%。
在留出的Qwen3-32B对话片段上,当阈值设定为标记5%的良性调用时,线性探针捕获了82%的泄密调用。
用线性探针在VGGT的冻结特征上预测位姿失败,在未见类别上取得了ROC-AUC 93.5%的表现。
还有 30 条时间轴事件
全部知识事实 (20)
线性探针是一种可解释性分析技术,通过在模型某层的激活上训练简单线性分类器,以分类准确率度量该层是否线性编码了某种属性。
75%已验证线性探针是在模型激活值上训练的简单线性分类器,用于检测模型内部是否存在特定行为或概念
75%待验证如果在任何警报上都停止执行,大多数良性对话片段都会被中断。
50%待验证线性探针更多读取的是“即将披露”这一信号,而非“违规”本身,因此可能无法准确区分合规的信息分享与规则违反。
50%待验证在gpt-oss-20b上,对其推理过程进行探针探测达到了0.91的AUROC。
50%待验证在相似标记率下,零样本决策模型监控器仅捕获26%的泄密调用,而线性探针为82%。
50%待验证在留出的Qwen3-32B对话片段上,当阈值设定为标记5%的良性调用时,线性探针捕获了82%的泄密调用。
50%待验证线性探针可以在多代理环境中于输出生成前识别出即将泄密的模型调用。
50%待验证线性假设可能无法捕捉复杂的非线性决策边界。
50%待验证线性探针的推理成本极低,因为它不改变模型本身,只读取内部表征。
50%待验证线性探针接在VGGT的融合层特征上,只需学习一个权重向量即可输出图像对是否会失败的分数。
50%待验证线性探针无需重新训练就能迁移到PhotoTourism和ScanNet-1500上的旋转失败检测。
50%待验证用线性探针在VGGT的冻结特征上预测位姿失败,在未见类别上取得了ROC-AUC 93.5%的表现。
50%待验证线性概念擦除方法(如LEACE)能够保证擦除后任何线性分类器都无法预测敏感属性,但无法阻止MLP探针还原被擦除的信息。
50%待验证研究者在多种架构和规模的LLM上训练线性探针,以区分隐喻性表达与非隐喻性表达。
50%待验证线性探针分类选择臂的准确率最高达59.7%(随机水平50%),表明选择行为在模型表征中留下了可检测的痕迹。
50%待验证论文《Is a Linear Probe Evidence of a Linear Representation?》指出,从渐近角度看,任何足够丰富的特征映射——包括随机特征映射——都允许线性读出,因此高探针准确率过于宽松,不能证明线性表征。
50%待验证前向解码准确率本身并不能证明被探测的因子与表征的主导几何对齐,线性探针的成功不应被简单等同于模型学到了线性且低维的表征。
50%待验证在核机器情形下,线性探针仍可取得高准确率,因为随机特征映射在足够高维度下也能线性分离数据,但模型并未学到线性世界模型,对分布外数据的响应可能完全偏离预期。
50%待验证线性探针准确率受特征维度、样本量和正则化强度影响显著,高维随机特征也能实现高线性可分性。
50%