Nick Camerata
AI可解释性研究员,曾参与OpenAI早期可解释性工作,现任职于Goodfire,是叠加理论提出者之一
时间轴 (近 90 天)
Camerata 表示这只是一个约 85% 把握的工作假设,并非所有内容都已审计。
Camerata 重新审视 Inception V1 中的 4E55 神经元,认为它是 V 形神经元,而非猫车神经元;最强激活对应 V 形火焰、V 形狐狸脸等,负极点对应圆形 O。
Camerata 指出狗神经元中隐藏汽车特征并非因为组合读取,而是因为汽车和狗共享姿态;Inception V1 中有上百个这类姿态神经元。
Camerata 提出递归泛化:泛化不是局部的,而是分形般层层展开;例如一个对字母 IY 敏感的神经元会扩展到 DIY 和不含 IY 的 do-it-yourself。
Camerata 将「干净」定义为每个部件都是为被后续部件读取和构建而设计的,而非每个神经元都匹配我们已有的标签。
Goodfire研究员Nick Camerata发表长文,核心论点是神经网络内部并非混乱叠加,而是可解读的。
Camerata重新分析2019年被认为是唯一叠加电路证据的实验,发现并非特征叠加,而是姿态编码,当年可视化方法有缺陷。
Camerata提出“递归泛化”概念:神经元在训练中沿相关方向分叉生长,每一叉都有来历,而非硬塞叠加。
Camerata主张直接读取原始网络(探索式解读),反对先训练稀疏自编码器(SAE)拆解网络的方法。
Camerata认为叠加理论应从默认假设降级为最后才考虑的假设;模型看不懂更可能是工具、架构或递归泛化原因。
全部知识事实 (10)
Camerata 表示这只是一个约 85% 把握的工作假设,并非所有内容都已审计。
50%待验证Camerata 重新审视 Inception V1 中的 4E55 神经元,认为它是 V 形神经元,而非猫车神经元;最强激活对应 V 形火焰、V 形狐狸脸等,负极点对应圆形 O。
50%待验证Camerata 指出狗神经元中隐藏汽车特征并非因为组合读取,而是因为汽车和狗共享姿态;Inception V1 中有上百个这类姿态神经元。
50%待验证Camerata 提出递归泛化:泛化不是局部的,而是分形般层层展开;例如一个对字母 IY 敏感的神经元会扩展到 DIY 和不含 IY 的 do-it-yourself。
50%待验证Camerata 将「干净」定义为每个部件都是为被后续部件读取和构建而设计的,而非每个神经元都匹配我们已有的标签。
50%待验证Goodfire研究员Nick Camerata发表长文,核心论点是神经网络内部并非混乱叠加,而是可解读的。
50%待验证Camerata重新分析2019年被认为是唯一叠加电路证据的实验,发现并非特征叠加,而是姿态编码,当年可视化方法有缺陷。
50%待验证Camerata提出“递归泛化”概念:神经元在训练中沿相关方向分叉生长,每一叉都有来历,而非硬塞叠加。
50%待验证Camerata主张直接读取原始网络(探索式解读),反对先训练稀疏自编码器(SAE)拆解网络的方法。
50%待验证Camerata认为叠加理论应从默认假设降级为最后才考虑的假设;模型看不懂更可能是工具、架构或递归泛化原因。
50%