概念gradient accumulation
梯度累积
深度学习训练中在显存受限条件下扩大有效批次大小的技术，将大批次拆分为若干微批次依次前向传播，累积梯度后统一执行参数更新
时间轴 (近 90 天)
10月31日
梯度累积把一个大batch拆成若干micro-batch依次前向和反向，累加梯度后统一更新参数，从而在等效batch size不变的前提下降低峰值显存。
待验证50%
10月31日
梯度累积不改变单次前向的激活峰值，因此不能替代梯度检查点。
待验证50%
9月11日
在训练大模型时，梯度累积、动量更新、权重衰减等操作本质上都是加法，当权重较大而梯度更新极小时部分学习信号可能被静默丢弃
待验证50%
8月26日
在有限硬件条件下可使用混合精度训练、梯度累积等技巧来最大化资源利用效率
待验证50%
8月10日
GPU非确定性操作在设计上优先考虑性能而非确定性，强制固定执行顺序会引入大量同步屏障显著降低并行效率
待验证60%