概念Gradient Flow / 梯度流ODE
梯度流
将神经网络训练过程理解为连续动力系统的数学框架，把离散梯度下降在学习率趋近于零时的极限表示为常微分方程 dθ/dt = −∇L(θ)，为分析训练动力学提供理论工具
时间轴 (近 90 天)
11月2日
梯度流轨迹显示，学生神经元首先坍缩到平分线方向上的鞍点附近，随后逃离并沿分裂方向特化到对应的教师神经元。
待验证50%
10月15日
对于有限步长，即使驻点在连续时间梯度流下不稳定，若步长过大可能跳过逃逸方向导致数值发散，若步长过小则逃逸时间可能指数级增长而看似停滞。
待验证50%
10月8日
论文使用随机矩阵理论为经过最优训练的教师模型和通过梯度流训练的学生模型推导出population error的确定性等价
待验证50%
10月8日
论文分析了更一般的停止时间和支撑在多个球谐阶数上的目标函数两种扩展情形
待验证50%
10月8日
标准反向传播本质上是梯度下降的离散迭代，当学习率看作无穷小时间步长时，该离散过程收敛为梯度流常微分方程 dθ/dt = −∇L(θ)
待验证50%
全部知识事实 (5)
待验证
梯度流轨迹显示，学生神经元首先坍缩到平分线方向上的鞍点附近，随后逃离并沿分裂方向特化到对应的教师神经元。
50%待验证对于有限步长，即使驻点在连续时间梯度流下不稳定，若步长过大可能跳过逃逸方向导致数值发散，若步长过小则逃逸时间可能指数级增长而看似停滞。
50%待验证论文使用随机矩阵理论为经过最优训练的教师模型和通过梯度流训练的学生模型推导出population error的确定性等价
50%待验证论文分析了更一般的停止时间和支撑在多个球谐阶数上的目标函数两种扩展情形
50%待验证标准反向传播本质上是梯度下降的离散迭代，当学习率看作无穷小时间步长时，该离散过程收敛为梯度流常微分方程 dθ/dt = −∇L(θ)
50%