RMSProp
RMSProp（Root Mean Square Propagation）是一种自适应学习率的梯度下降优化算法，由Geoffrey Hinton提出。其核心思想是利用梯度平方的指数加权移动平均来归一化各参数的学习率，使不同参数能够自动调整更新步长，从而有效缓解训练过程中的梯度消失或爆炸问题。RMSProp在处理非平稳目标和循环神经网络训练中表现良好，是深度学习领域常用的优化方法之一。
核心事实
时间轴 (近 90 天)
视频按普通GD、Nesterov、AdaGrad、RMSProp、Adam的顺序逐步构建优化器。
RMSProp用指数移动平均改进AdaGrad，避免学习率过早衰减。
偏差校正是Adam区别于RMSProp的关键设计之一。
非线性时间序列视角可能启发将其他自适应优化器（如Adam、RMSProp）的耦合动力学纳入类似分析。
AdamW 为每个可训练参数维护一阶矩和二阶矩两份指数移动平均状态，通常以 fp32 存储，在混合精度训练中优化器状态常比模型权重和激活更占显存。
自适应优化器如Adam、RMSProp已以廉价方式部分缓解刚性问题，用逐坐标自适应步长近似达到类似效果，工程上更简单
全部知识事实 (11)
Adam结合了动量法与RMSprop的自适应学习率，对每个参数独立维护一阶和二阶梯度的滑动平均
80%已验证Adam、RMSProp等自适应学习率优化器在SGD基础上进一步改进了收敛速度和稳定性
65%待验证Adam在RMSProp基础上进一步引入一阶矩（动量），并增加了偏差修正机制
90%待验证Adam可以被理解为AdaGrad和RMSProp的进化版本
80%待验证RMSProp用指数移动平均替代累积，解决了AdaGrad的学习率消失问题
60%待验证偏差校正是Adam区别于RMSProp的关键设计之一。
50%待验证视频按普通GD、Nesterov、AdaGrad、RMSProp、Adam的顺序逐步构建优化器。
50%待验证RMSProp用指数移动平均改进AdaGrad，避免学习率过早衰减。
50%待验证AdamW 为每个可训练参数维护一阶矩和二阶矩两份指数移动平均状态，通常以 fp32 存储，在混合精度训练中优化器状态常比模型权重和激活更占显存。
50%待验证自适应优化器如Adam、RMSProp已以廉价方式部分缓解刚性问题，用逐坐标自适应步长近似达到类似效果，工程上更简单
50%待验证非线性时间序列视角可能启发将其他自适应优化器（如Adam、RMSProp）的耦合动力学纳入类似分析。
50%