稀疏自编码器

稀疏自编码器（SAE）是尝试解开叠加、提取单义特征的主要技术方案之一

稀疏自编码器（SAE）的思路是将模型某一层的激活值投影到更高维的稀疏空间，通过约束每次激活时只有少量特征被激活，迫使模型学习出更解耦的单义特征

稀疏自编码器（SAE）在重建损失之外引入稀疏性正则化，将激活向量编码为过完备的稀疏表示

稀疏自编码器（SAE）常被用于在特征层面干预大模型，以减少敏感个人信息（PII）泄露。

稀疏自编码器（SAE）的特征归因图实际上由特征的“边界”（margin）决定，即预激活值与TopK截断阈值的距离。

在Qwen3-1.7B上，胡编既没有对应一个明显的SAE特征，也没有独特的token模式，表明胡编可能是一种分布式表示。

研究在Qwen模型上比较了三种拒答向量方向（探针恢复的方向、Qwen-Scope SAE特征、直接优化方向），三者两两之间相差50-81度。

稀疏自编码器（Sparse Autoencoder, SAE）在损失函数中加入稀疏性惩罚（如L1正则），迫使隐藏层中只有少量神经元同时活跃，其隐藏层可以看作一组“潜在特征”，每个特征对应激活空间中的一个方向。

路线意图的恢复准确率达到98.3%，且整个过程无需人工标注。

对SAE潜在特征进行无监督聚类后，浮现出与驾驶语义清晰对齐的结构：路线意图、车辆速度、刹车行为各自对应不同的特征簇。

研究者选择了一个单摄像头输入、直接输出规划路径的端到端路径规划模型作为实验对象，并在其内部激活上训练稀疏自编码器。

研究者采用配对反事实图像编辑的方法，对同一场景进行有针对性的修改（如改变交通灯状态或移除停止标志），发现特定SAE特征确实具有视觉基础，会随场景变化而规律性变化。

研究者构建了一个轻量适配器，以SAE潜在特征为输入用于轨迹选择，与不含SAE特征的同等适配器相比，该适配器将轨迹选择误差降低了3.44%。

一篇最新研究将机械可解释性（Mechanistic Interpretability）引入端到端自动驾驶领域，通过稀疏自编码器（SAE）解剖模型内部激活，找到了与路线意图、车速、刹车行为对齐的可解释结构，并证明这些特征能实际用于提升规划性能。

该实验基于单摄像头简化模型，向多传感器、复杂城市场景的迁移仍需验证；SAE的训练成本与稳定性、特征在不同驾驶分布下的泛化能力，也是落地前需要回答的问题。

研究者直接操控单个SAE潜在特征，发现规划器输出会产生可预测的、单调的变化，涉及横向位移、曲率和刹车等规划维度。

单个神经元往往具有多义性（polysemanticity），即同时对多种不相关概念产生响应，因此后续研究转向稀疏自编码器（SAE）等方法提取更纯净的特征方向。

稀疏自编码器（SAE）通过重建损失把模型激活分解为过完备的稀疏特征字典，但只是对已训练模型的事后近似，重建目标与下游任务目标不一致。

2024年，Anthropic使用稀疏自编码器从其Claude 3 Sonnet模型中提取了数百万个独立「特征」，其中约五分之四经检查并未被任何单个神经元紧密追踪。

当前可解释性主流路径包括事后归因方法（如注意力可视化、SHAP）与机制可解释性（如稀疏自编码器、电路分析），后者试图在神经元激活层面定位可识别的「特征电路」。