RMSProp

RMSProp（Root Mean Square Propagation）是一种自适应学习率的梯度下降优化算法，由Geoffrey Hinton提出。其核心思想是利用梯度平方的指数加权移动平均来归一化各参数的学习率，使不同参数能够自动调整更新步长，从而有效缓解训练过程中的梯度消失或爆炸问题。RMSProp在处理非平稳目标和循环神经网络训练中表现良好，是深度学习领域常用的优化方法之一。