Neel Nanda
DeepMind研究员,专注于AI可解释性研究,致力于对神经网络进行逆向工程分析
时间轴 (近 90 天)
Neel Nanda强调SAE在残差流上依然不可替代。
Neel Nanda认为Cammarata的文章有趣,但对于可解释性而言并没有带来实质性突破。
Neel Nanda指出存在两种叠加:任意叠加和表征叠加,Cammarata推翻的是任意叠加,而表征叠加仍是核心争议。
机制可解释性通过稀疏自编码器、电路分析等工具,已在小型模型中识别出'间接宾语识别''多义词消歧'等具体回路。
Shevlin赞赏DeepMind内部Neel Nanda实验室在机制可解释性方面的工作。
多位知名AI研究者(包括Jack Lindsey、Micah Carroll、Leo Gao、Neel Nanda等)对可解释性能否在关键时间窗口内取得足够进展表示不确定甚至悲观。
机制可解释性是可解释性AI研究的子领域,目标是从神经网络内部电路层面理解模型为何做出特定判断,Neel Nanda和Chris Olah是该领域奠基性人物
TransformerLens是由Neel Nanda开发的机械可解释性库
全部知识事实 (7)
TransformerLens是由Neel Nanda开发的机械可解释性库
60%待验证Neel Nanda强调SAE在残差流上依然不可替代。
50%待验证Neel Nanda指出存在两种叠加:任意叠加和表征叠加,Cammarata推翻的是任意叠加,而表征叠加仍是核心争议。
50%待验证Shevlin赞赏DeepMind内部Neel Nanda实验室在机制可解释性方面的工作。
50%待验证机制可解释性通过稀疏自编码器、电路分析等工具,已在小型模型中识别出'间接宾语识别''多义词消歧'等具体回路。
50%待验证多位知名AI研究者(包括Jack Lindsey、Micah Carroll、Leo Gao、Neel Nanda等)对可解释性能否在关键时间窗口内取得足够进展表示不确定甚至悲观。
50%待验证机制可解释性是可解释性AI研究的子领域,目标是从神经网络内部电路层面理解模型为何做出特定判断,Neel Nanda和Chris Olah是该领域奠基性人物
50%