概念Adam with Weight Decay / 解耦权重衰减Adam

AdamW

Adam优化器的改进版本，通过将权重衰减与梯度更新解耦，避免了L2正则化在自适应优化器中的不当交互，是现代大模型训练的常用优化器

来源文章