权重衰减
权重衰减是一种正则化技术，通过在损失函数中加入权重范数惩罚项来防止过拟合，促进参数趋向小值。
时间轴 (近 90 天)
AdamW优化器将权重衰减从梯度更新中解耦，变为独立的参数收缩项。
使用权重衰减时，修复后的实现加快了grokking的出现；不使用权重衰减时，防止了精度崩溃。
在模型记忆训练数据后，logit的增长受到权重衰减与Adam优化器中ε超参数之间平衡的约束。
研究证明：对于带权重衰减的因子化LoRA目标，在任意小的通用半正定扰动之后，只要LoRA秩超过由瓶颈秩决定的阈值，每个一阶驻点都是秩亏的。
权重衰减通过在损失函数中加入与权重平方成正比的惩罚项，使权重向零收缩，从而限制模型有效容量。
权重衰减可视为控制grokking相变的旋钮，通过调节λ理论上可以主动触发或抑制grokking
研究揭示当权重衰减λ≳1.0时，系统会从不发生grokking的区域跨越到发生grokking的区域，形成尖锐的相边界
工作中引入的权重衰减常数λ*定义为 λ* = 1 - αₗᵣ·λ，其中αₗᵣ为学习率，λ为原始权重衰减系数
全部知识事实 (8)
AdamW优化器将权重衰减从梯度更新中解耦，变为独立的参数收缩项。
50%待验证使用权重衰减时，修复后的实现加快了grokking的出现；不使用权重衰减时，防止了精度崩溃。
50%待验证在模型记忆训练数据后，logit的增长受到权重衰减与Adam优化器中ε超参数之间平衡的约束。
50%待验证研究证明：对于带权重衰减的因子化LoRA目标，在任意小的通用半正定扰动之后，只要LoRA秩超过由瓶颈秩决定的阈值，每个一阶驻点都是秩亏的。
50%待验证权重衰减通过在损失函数中加入与权重平方成正比的惩罚项，使权重向零收缩，从而限制模型有效容量。
50%待验证权重衰减可视为控制grokking相变的旋钮，通过调节λ理论上可以主动触发或抑制grokking
50%待验证研究揭示当权重衰减λ≳1.0时，系统会从不发生grokking的区域跨越到发生grokking的区域，形成尖锐的相边界
50%待验证工作中引入的权重衰减常数λ*定义为 λ* = 1 - αₗᵣ·λ，其中αₗᵣ为学习率，λ为原始权重衰减系数
50%