#优化器

共 4 篇相关文章

ResQAdam优化器通过保留QAT动量残差的符号信息，在低秩框架下实现接近AdamW的精度，同时减少71%-74%的优化器状态内存，吞吐量损失小于2%。

一项覆盖360M到3.1B参数、近200B token的系统性实证研究发现，正交约束在LLM预训练中除了球面优化外并无额外增益。研究者重新审视五个先前方法，发现其报告增益源于数值精度、训练时长等因素而非正交性本身。

Reddit社区讨论神经网络优化器命名混乱问题，SOAP、Shampoo、FOAM等名称导致搜索困难，分析背后原因并给出应对建议。

深入拆解Adam优化器的三大核心步骤：一阶矩估计捕捉梯度动量、二阶矩估计实现自适应学习率、参数更新融合方向与步长。详解Adam与SGD的区别及实践选择建议。