待验证50% 置信事实精确时间
稀疏自编码器（Sparse Autoencoder, SAE）在损失函数中加入稀疏性惩罚（如L1正则），迫使隐藏层中只有少量神经元同时活跃，其隐藏层可以看作一组“潜在特征”，每个特征对应激活空间中的一个方向。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证专门化指网络从所有隐藏神经元对目标特征仅有微弱、弥散的相关，过渡到部分神经元与特定目标特征强烈对齐的过程。67% 相似待验证Anthropic提出'稀疏自编码器'（Sparse Autoencoder）方法试图将多义性神经元分解为更单纯的特征方向65% 相似待验证隐藏层激活函数选择建议：从ReLU开始，若神经元大量死亡则尝试Leaky ReLU；二分类输出用Sigmoid；多分类输出用Softmax；回归输出不用激活函数。64% 相似待验证缺失输入处理机制指多模态模型在某一模态输入不可用时，仍能前向传播并产生梯度的设计，常见做法包括用可学习的缺失标记替代该模态的嵌入、用零填充后经掩码注意力屏蔽无效位置，或引入模态存在性嵌入。63% 相似待验证Winner-Take-All 机制对于每个输入只有一个获胜神经元被激活并更新，容易导致死单元且表示能力受限62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1125335API
curl https://kongchang.com/api/v1/knowledge/claims/1125335MCP
get_claim(id=1125335)