概念
Adam
Adam（Adaptive Moment Estimation）是一种用于深度学习模型训练的自适应学习率优化算法，由Diederik Kingma和Jimmy Ba提出。该算法结合了动量法（Momentum）与均方根传播（RMSProp）的思想，通过同时估计梯度的一阶矩（均值）和二阶矩（方差）来为每个参数自动调整学习率。Adam具有计算高效、超参数调整需求少、收敛速度快等特点，被广泛应用于神经网络训练任务中。
时间轴 (近 90 天)
8月26日
使用Adam优化器时，每参数需要16字节状态信息（FP32参数4字节+FP32梯度4字节+一阶动量4字节+二阶动量4字节），15亿参数模型每个GPU至少需约24GB状态信息
待验证50%
8月26日
一个15亿参数的模型使用Adam优化器时每个GPU至少需要约24GB的状态信息
待验证50%
8月24日
延迟解耦时如果只复制权重而重置优化器动量状态，Adam会经历bias correction阶段导致数百步训练效率损失，并可能引发训练损失突然跳升
待验证50%