概念Peak Memory
峰值内存
训练一步中显存占用的最高水位,通常由激活值、梯度与优化器状态共同决定;对Transformer类模型,序列越长、参与计算的token越多,激活占用越大。
时间轴 (近 90 天)
10月19日
峰值内存指程序运行过程中某一时刻所有活跃张量所占内存的最大值。
待验证50%
训练一步中显存占用的最高水位,通常由激活值、梯度与优化器状态共同决定;对Transformer类模型,序列越长、参与计算的token越多,激活占用越大。
峰值内存指程序运行过程中某一时刻所有活跃张量所占内存的最大值。