#梯度下降

共 2 篇相关文章

本文解读了双神经元ReLU师生模型中梯度下降的全局损失景观与分岔动力学。研究表明，动力学由平分线方向和分裂方向组织，所有非零临界点要么是全局最小要么是鞍点，梯度流经历坍缩、逃离和特化三个阶段，揭示了多阶段对称破缺机制。

本文解读论文《General Frequency Principle for Linear Approximation Classes》，该研究证明梯度下降在线性逼近类中抑制高频幅度并建立低频优先的充分条件，通过Legendre和三角函数基实验验证，澄清了低频并非总是收敛更快。