概念Saddle Point
鞍点
在某些方向上损失增加、在另一些方向上损失减少的临界点,梯度流可沿负曲率方向逃离,是非凸优化中的主要障碍
时间轴 (近 90 天)
10月19日
该结果在活跃鞍点附近的切线性二次约化框架下成立,并扩展至多个约束(在共同调制和各向同性条件下)。
待验证50%
8月22日
在n维空间中,一个临界点成为局部极小值的概率约为(1/2)^n,因此现代大型网络的几乎所有临界点都是鞍点而非局部极小值
待验证50%
在某些方向上损失增加、在另一些方向上损失减少的临界点,梯度流可沿负曲率方向逃离,是非凸优化中的主要障碍
该结果在活跃鞍点附近的切线性二次约化框架下成立,并扩展至多个约束(在共同调制和各向同性条件下)。
在n维空间中,一个临界点成为局部极小值的概率约为(1/2)^n,因此现代大型网络的几乎所有临界点都是鞍点而非局部极小值