探针
一种轻量分类器(通常为线性层或小型MLP),在大模型前向传播时旁路读取中间层激活向量,输出是否存在目标行为(如欺骗意图)的分数,不修改底层模型权重,部署成本极低。
时间轴 (近 90 天)
研究者开源了探针和全部126K条试验级测量数据。
视频总结了核心三句话:覆盖率不等于正确性,探针要穿透到真实依赖,边界是核心战场。
新做法不是推翻老做法,而是在老做法之上加一层探针;质量心态从看覆盖率数字转向看变异分数。
探针网络可能学习到与物理无关的捷径特征,从而高估模型对物理属性的编码能力。
REVA使用训练好的探针(probe)读取LLM在给定上下文下对函数的内部表示来进行安全性判断,而非依赖LLM生成文本判决。
论文《Present but Hard to Read: Probing Latent Reasoning with Minimal Pairs》用最小对实验挑战了“探针读不出即模型未表征”的默认假设。
当探针一次只看一个提示(常规设定)时,即使训练了 5,249 个问题,Ouro 的读出率仅有 0.36,Qwen 仅有 0.19。
对于依赖探针结论推断模型“知道什么”的研究,最小对设计和合成零假设应成为标准配置。
探针读不出不代表不存在;探针读出了也不代表被使用。
由于每个变化的 token 都会留下痕迹,一个成功的探针结果存在歧义:可能读到计算值,也可能只是读到输入副本或混合。
还有 15 条时间轴事件
全部知识事实 (20)
视频总结了核心三句话:覆盖率不等于正确性,探针要穿透到真实依赖,边界是核心战场。
50%待验证新做法不是推翻老做法,而是在老做法之上加一层探针;质量心态从看覆盖率数字转向看变异分数。
50%待验证探针网络可能学习到与物理无关的捷径特征,从而高估模型对物理属性的编码能力。
50%待验证REVA使用训练好的探针(probe)读取LLM在给定上下文下对函数的内部表示来进行安全性判断,而非依赖LLM生成文本判决。
50%待验证论文《Present but Hard to Read: Probing Latent Reasoning with Minimal Pairs》用最小对实验挑战了“探针读不出即模型未表征”的默认假设。
50%待验证当探针一次只看一个提示(常规设定)时,即使训练了 5,249 个问题,Ouro 的读出率仅有 0.36,Qwen 仅有 0.19。
50%待验证传统探针的失败更多反映读取方法的局限,而非模型内部信息的缺失。
50%待验证由于每个变化的 token 都会留下痕迹,一个成功的探针结果存在歧义:可能读到计算值,也可能只是读到输入副本或混合。
50%待验证探针读不出不代表不存在;探针读出了也不代表被使用。
50%待验证对于依赖探针结论推断模型“知道什么”的研究,最小对设计和合成零假设应成为标准配置。
50%待验证探针工作坊建议串行发送同一个固定提示12次,每次记录一行JSON,因为并发会因限流器将延迟分布折叠成阶梯函数而毁掉信号
50%待验证十二次串行调用只测量一台机器、一条路径、一个时刻,供应商行为会变,免费层条件会变,一个好下午证明不了下个月
50%待验证探测分析是一种在模型隐藏层表示上训练简单分类器以预测预定义结构属性的技术。
50%待验证新探针架构能够在多个层级和多个token位置之间聚合信息,而传统线性探针通常只在某一层或最后一个token上训练。
50%待验证在内省式欺骗测试中,探针需要区分包含模型真实隐藏目标的对话记录与包含其他目标的记录,探针的AUC最高达到99.7%。
50%待验证在多个主流开源权重模型上,探针能够检测出模型在政治敏感话题上的不诚实表达,以及在受到压力时对自身信念的虚假陈述。
50%待验证探针需要访问模型的内部激活状态,因此对于完全黑盒的API服务无法直接使用。
50%待验证当前评测主要集中在已知类型的欺骗行为上,探针对于全新欺骗手法的泛化能力还有待验证。
50%待验证在SHADE-Arena评测中,探针达到了98.8%的AUC,超过了基于Opus 5.5的文本监控基线。
50%待验证现实部署中探针更适合作为多层防御体系的一环,与行为沙箱、权限约束、输出审核等手段配合,而非单独承担全部监控职责。
50%