[控场AI]
概念splitting direction

分裂方向

双神经元模型中控制神经元特化的方向,是学习的难点,梯度流后期沿该方向分化以完成精调

时间轴 (近 90 天)

11月2日

梯度流轨迹显示,学生神经元首先坍缩到平分线方向上的鞍点附近,随后逃离并沿分裂方向特化到对应的教师神经元。

待验证50%
11月2日

在双神经元ReLU师生模型中,梯度动力学的组织由两个方向主导:平分线方向携带主要信号且学习容易,分裂方向控制特化且学习困难。

待验证50%

全部知识事实 (2)

来源文章