Adam优化器深度拆解：一文搞懂自适应矩估计原理

引言

Adam（Adaptive Moment Estimation，自适应矩估计）是深度学习中使用最广泛的优化器之一。它将动量法与自适应学习率巧妙融合，几乎适用于所有计算机视觉任务。本文从底层逻辑出发，逐步拆解Adam优化器的三个核心步骤，帮助你真正理解它为何能在收敛速度和训练稳定性之间取得平衡。

Adam的历史背景与诞生动机

Adam由Diederik P. Kingma和Jimmy Ba于2014年提出，发表于ICLR 2015，论文标题为《Adam: A Method for Stochastic Optimization》。它的诞生源于深度学习社区对两类问题的长期探索：一是如何让优化器自动适应不同参数的梯度尺度差异，二是如何在嘈杂梯度环境下保持稳定收敛。

Adam可以被理解为AdaGrad和RMSProp的进化版本——AdaGrad通过累积历史梯度平方实现自适应，但会导致学习率单调递减直至停止更新；RMSProp用指数移动平均替代累积，解决了学习率消失问题；Adam在此基础上进一步引入一阶矩（动量），并增加了偏差修正机制，使其在训练初期也能给出准确的矩估计。

一阶矩估计：捕捉梯度动量

Adam的第一个核心组件是一阶矩估计，本质上就是动量（Momentum）的计算。

一阶矩估计的公式为：

$$m_t = \beta_1 \cdot m_{t-1} + (1 - \beta_1) \cdot g_t$$

其中：

• $m_t$ 表示第 $t$ 次迭代的一阶矩估计
• $g_t$ 是当前梯度
• $\beta_1$ 是一阶矩的衰减系数（通常默认为0.9）

指数移动平均的数学本质

Adam中一阶矩和二阶矩的计算都基于指数移动平均（Exponential Moving Average，EMA）。EMA是一种加权平均方法，距当前时刻越近的观测值权重越高，越远的权重呈指数衰减。以一阶矩为例，展开递推公式可以发现：

$$m_t = (1-\beta_1)\sum_{i=1}^{t}\beta_1^{t-i}g_i$$

即当前矩估计是所有历史梯度的加权和，权重之和趋近于1。这种设计的优势在于：它只需要存储上一时刻的矩估计值，内存开销极小，却能隐式地"记住"整个训练历史。衰减系数越大，有效窗口越长，平滑效果越强，这也解释了为何 $\beta_2=0.999$ 比 $\beta_1=0.9$ 拥有更长的历史记忆——二阶矩需要更稳定的梯度方差估计。

衰减系数β₁的作用

$\beta_1$ 控制的是历史动量对当前更新的影响程度：

• $\beta_1$ 取值较大（如0.99）：$(1-\beta_1)$ 很小，当前梯度权重低，历史动量惯性更强，更新方向更加平滑
• $\beta_1$ 取值较小（如0.5）：$(1-\beta_1)$ 较大，当前梯度影响更显著，响应更灵敏

一阶矩估计的核心价值在于通过指数移动平均捕捉梯度的整体趋势，避免单次梯度噪声对参数更新造成过大干扰。这就像一个有质量的球在损失曲面上滚动，不会因为局部小坑而轻易停下来。

二阶矩估计：实现自适应学习率

获取动量特性之后，Adam通过二阶矩估计来实现自适应学习率调整。

二阶矩估计的公式为：

$$v_t = \beta_2 \cdot v_{t-1} + (1 - \beta_2) \cdot g_t^2$$

其中：

• $v_t$ 表示第 $t$ 次迭代的二阶矩估计
• $g_t^2$ 是当前梯度的平方
• $\beta_2$ 是二阶矩的衰减系数（通常默认为0.999）

为什么需要梯度平方

二阶矩估计记录的是梯度平方的指数移动平均，它反映了梯度的波动幅度：

• 某个参数的梯度一直很大且波动剧烈时，$v_t$ 会很大，后续更新步长会被缩小
• 某个参数的梯度一直很小且稳定时，$v_t$ 会很小，步长会相对增大

这就是"自适应