AdaGrad

AdaGrad通过累积历史梯度平方实现自适应，但会导致学习率单调递减直至停止更新

Adam可以被理解为AdaGrad和RMSProp的进化版本

RMSProp用指数移动平均替代累积，解决了AdaGrad的学习率消失问题

视频按普通GD、Nesterov、AdaGrad、RMSProp、Adam的顺序逐步构建优化器。

RMSProp用指数移动平均改进AdaGrad，避免学习率过早衰减。