AdamW

AdamW修正了Adam中权重衰减与L2正则化混淆的问题，将权重衰减从梯度更新中解耦，已成为训练Transformer的事实标准优化器

1750亿参数模型仅模型权重（BF16精度）就需350GB存储，Adam优化器需维护一阶矩和二阶矩两份状态，合计超过1TB

DeepSeek V4采用MUON优化器替代AdamW进行训练

Decoupled DiLoCo的外部优化器通常使用Nesterov动量SGD，内部优化器通常为AdamW

MUON优化器替代了沿用多年的AdamW优化器，通过引入矩阵正交化步骤使训练曲线更加平滑

ApexW目前更适合被看作一个值得跟踪的实验性项目，而不是生产环境的AdamW替代品。

AdamW需要为每个可训练参数维护两组与参数同形状的滑动统计量（一阶矩和二阶矩），通常以FP32存储。

PyTorch自2.x起提供了fused=True的AdamW实现，用单个CUDA内核完成参数更新，已是官方优化路径。

SGD和AdamW等通用优化器并未针对单遍、非平稳的数据分布设计，其更新规则无法有效平衡快速适应与抗遗忘的需求。

Llama 2 使用 AdamW 优化器（beta1 = 0.9，beta2 = 0.95，权重衰减 0.1，梯度裁剪 1.0），并在 2 万亿 token 上预训练。

在Qwen2.5-32B模型上，仅将AdamW的一阶动量系数β₁从常规值增大，就在平均验证准确率上带来了近2个百分点的提升，无需修改其他超参数。

在Qwen3-4B-Base上的RLVR实验中，使用SGD+EMA和AdamW两种优化器时，选择较大动量系数的配置均表现出优势。

AdamW的β₁默认值通常为0.9，控制梯度一阶梯度的指数移动平均窗口。

AdamW的有效步长近似正比于η/(1-β₁)，因此单纯增大β₁相当于隐式放大了有效学习率。

与 TorchAO 的 4-bit AdamW 相比，ZIP-SR 与 ZE-EDEN 在每一个评测规模上都缩小了相对 32-bit AdamW 的平均验证损失差距，最大差距缩减幅度达到 70%。

AdamW 为每个可训练参数维护一阶矩和二阶矩两份指数移动平均状态，通常以 fp32 存储，在混合精度训练中优化器状态常比模型权重和激活更占显存。

在 AdamW 中，参数更新量约等于一阶矩除以（二阶矩的平方根加 ε），二阶矩平方根的倒数扮演预条件子角色，为每个坐标自适应缩放梯度。

作者的微调采用 QLoRA 方法，LoRA rank/alpha 为 32/64，学习率 1e-4，批大小 1 梯度累积 16，优化器 AdamW 8-bit，训练 1 epoch

该工作的权重衰减简化思路与AdamW中解耦权重衰减的思路有相通之处

在 NanoGPT Speedrun 中，Muon 通常只用于隐藏层的矩阵权重，而嵌入层和输出层仍保留 AdamW