#SAE
共 4 篇相关文章
·3 分钟
SAE 抑制 PII 失效：仅看 logprob 会误判
新研究指出，仅用 logprob 下降评估 SAE 特征级 PII 抑制会误判：36 个案例中仅 2.8% 通过多指标检验，随机方向甚至优于选定特征。作者呼吁转向因果中介分析与电路级定位。
阅读全文 →
·4 分钟
稀疏编码革新：ConSDL如何实现跨训练一致的概念发现
SAE 字典在不同训练中波动大？新研究 ConSDL 用逐样本稀疏编码替代线性编码器，在 16 组合成设置中近乎完美恢复字典，真实任务上字典和系数一致性分别提升 17.6% 和 35.9%。
阅读全文 →
·5 分钟
神经网络本就「干净」：可解释性研究的范式转变
神经网络可解释性研究迎来范式转变：作者主张网络本身已是「干净」的，混乱源于观察方式而非模型结构。本文解析新旧范式的分歧、对SAE与电路分析的冲击，以及实践者该如何调整调试心态。
阅读全文 →
·7 分钟
稀疏自编码器特征评分到底识别了什么？从激活到干预的鸿沟
稀疏自编码器（SAE）特征发现分数能否预测干预效果？新研究给出否定答案：探针与干预归因的量级比可达数百倍，梯度预测符号一致率 91-97%，而探针仅 17-35%。
阅读全文 →