[控场AI]
概念Peak Memory

峰值内存

训练一步中显存占用的最高水位,通常由激活值、梯度与优化器状态共同决定;对Transformer类模型,序列越长、参与计算的token越多,激活占用越大。

时间轴 (近 90 天)

10月19日

峰值内存指程序运行过程中某一时刻所有活跃张量所占内存的最大值。

待验证50%

全部知识事实 (1)

来源文章