概念splitting direction
分裂方向
双神经元模型中控制神经元特化的方向,是学习的难点,梯度流后期沿该方向分化以完成精调
时间轴 (近 90 天)
11月2日
梯度流轨迹显示,学生神经元首先坍缩到平分线方向上的鞍点附近,随后逃离并沿分裂方向特化到对应的教师神经元。
待验证50%
11月2日
在双神经元ReLU师生模型中,梯度动力学的组织由两个方向主导:平分线方向携带主要信号且学习容易,分裂方向控制特化且学习困难。
待验证50%
双神经元模型中控制神经元特化的方向,是学习的难点,梯度流后期沿该方向分化以完成精调
梯度流轨迹显示,学生神经元首先坍缩到平分线方向上的鞍点附近,随后逃离并沿分裂方向特化到对应的教师神经元。
在双神经元ReLU师生模型中,梯度动力学的组织由两个方向主导:平分线方向携带主要信号且学习容易,分裂方向控制特化且学习困难。