Adam
Adam（Adaptive Moment Estimation）是一种用于深度学习模型训练的自适应学习率优化算法，由Diederik Kingma和Jimmy Ba提出。该算法结合了动量法（Momentum）与均方根传播（RMSProp）的思想，通过同时估计梯度的一阶矩（均值）和二阶矩（方差）来为每个参数自动调整学习率。Adam具有计算高效、超参数调整需求少、收敛速度快等特点，被广泛应用于神经网络训练任务中。
核心事实
时间轴 (近 90 天)
Instagram负责人Adam知道该做什么，但可能不知道如何去做，或者这是否可能做到。
UTA不依赖于SGD的特定动力学，能无缝集成到Adam等现代优化器中，且即插即用、额外开销可忽略。
UBA的推导建立在SGD的连续时间动力学之上，因此其最优性结论对SGD成立，却难以直接迁移到Adam等自适应优化器。
在模型记忆训练数据后，logit的增长受到权重衰减与Adam优化器中ε超参数之间平衡的约束。
深度学习参数维度极高，精确二阶方法不可行，实践中多用拟牛顿法（如L-BFGS）或自适应方法（如Adam）来利用二阶信息。
DP-Adam 是将 DP-SGD 的裁剪加噪步骤嵌入 Adam 优化器的动量估计中的隐私版本；DP-Muon 是针对矩阵参数使用 Muon 优化器（基于矩阵正交化更新）的隐私版本。
偏差校正是Adam区别于RMSProp的关键设计之一。
Adam的偏差校正通过对一阶矩和二阶矩分别除以 (1-β1^t) 和 (1-β2^t) 来修正，其中t是时间步，β1、β2是衰减率。
Adam维护两个指数移动平均：梯度的一阶矩（动量）和二阶矩（梯度平方）。
视频按普通GD、Nesterov、AdaGrad、RMSProp、Adam的顺序逐步构建优化器。
还有 39 条时间轴事件
全部知识事实 (20)
Adam结合了动量法与RMSprop的自适应学习率，对每个参数独立维护一阶和二阶梯度的滑动平均
80%已验证Adam优化器于2014年提出，融合动量与自适应学习率，成为当今最广泛使用的优化器
80%已验证AdamW修正了Adam中权重衰减与L2正则化混淆的问题，将权重衰减从梯度更新中解耦，已成为训练Transformer的事实标准优化器
75%已验证1750亿参数模型仅模型权重（BF16精度）就需350GB存储，Adam优化器需维护一阶矩和二阶矩两份状态，合计超过1TB
75%已验证梯度下降衍生出批量梯度下降、随机梯度下降和小批量梯度下降三种主要变体，Adam优化器是在动量与自适应学习率基础上的综合改进
65%已验证以Adam优化器搭配默认学习率1e-3作为起点是稳健的深度学习入门策略
65%已验证Adam、RMSProp等自适应学习率优化器在SGD基础上进一步改进了收敛速度和稳定性
65%待验证Adam的一阶矩和二阶矩的计算都基于指数移动平均（EMA）
95%待验证Adam的论文标题为《Adam: A Method for Stochastic Optimization》
95%待验证Adam由Diederik P. Kingma和Jimmy Ba于2014年提出，发表于ICLR 2015
95%待验证Adam的二阶矩估计记录梯度平方的指数移动平均，反映梯度的波动幅度
90%待验证Adam的EMA设计只需要存储上一时刻的矩估计值，内存开销极小
90%待验证Adam在RMSProp基础上进一步引入一阶矩（动量），并增加了偏差修正机制
90%待验证Open Code最初叫Terminal AI Agent，由一位开发者业余时间创建，后来知名开发者Dex和Adam加入
85%待验证Adam可以被理解为AdaGrad和RMSProp的进化版本
80%待验证使用Adam优化器时，每参数需要16字节状态信息（FP32参数4字节+FP32梯度4字节+一阶动量4字节+二阶动量4字节），15亿参数模型每个GPU至少需约24GB状态信息
60%待验证Adam（Adaptive Moment Estimation）是深度学习中使用最广泛的优化器之一
60%待验证Adam的一阶矩衰减系数β₁通常默认为0.9
55%待验证Instagram负责人Adam知道该做什么，但可能不知道如何去做，或者这是否可能做到。
50%待验证UBA的推导建立在SGD的连续时间动力学之上，因此其最优性结论对SGD成立，却难以直接迁移到Adam等自适应优化器。
50%