概念ablation / 特征消融
消融
将某特征激活置零或替换为基线值,观察模型能力或行为受损程度,属于干预手段用于因果性验证
时间轴 (近 90 天)
11月3日
当把一个特征置零时,下一层特征跨越截断阈值的比例高达0.74以上,而且这些跨越事件承载了响应的大部分能量。
待验证50%
10月14日
消融在机制可解释性研究中指主动移除或屏蔽模型中特定的激活、注意力头或缓存条目,通过“破坏—观察”建立因果关系。
待验证50%
将某特征激活置零或替换为基线值,观察模型能力或行为受损程度,属于干预手段用于因果性验证
当把一个特征置零时,下一层特征跨越截断阈值的比例高达0.74以上,而且这些跨越事件承载了响应的大部分能量。
消融在机制可解释性研究中指主动移除或屏蔽模型中特定的激活、注意力头或缓存条目,通过“破坏—观察”建立因果关系。