#优化理论

共 4 篇相关文章

论文研究大步长下对抗训练（AT）的梯度下降动态，发现AT与标准训练存在三大差异：隐式偏置差距在大步长下持续存在、优化误差无统一收敛速率、锐度呈现两阶段动态而非边缘稳定性。

本文解读了双神经元ReLU师生模型中梯度下降的全局损失景观与分岔动力学。研究表明，动力学由平分线方向和分裂方向组织，所有非零临界点要么是全局最小要么是鞍点，梯度流经历坍缩、逃离和特化三个阶段，揭示了多阶段对称破缺机制。

本文解读论文《Exact Tail Laws for Nonlinear SGD with Infinite-Variance Gradients》，分析无限方差梯度下SGD的精确尾部概率、核心理论结果与实验验证，探讨重尾噪声对优化算法的影响及实践启示。

本文解读一项关于联邦变分不等式（Federated Variational Inequalities）的最新研究，探讨如何通过对Local Extra SGD算法的精细化分析，建立更紧的收敛速率，缩小与联邦凸优化之间的理论差距。