概念Elastic Training
弹性训练
允许分布式训练任务在资源数量变化时继续运行的进阶容错能力,要求训练框架支持动态调整并行度与全局batch size
时间轴 (近 90 天)
11月2日
NVIDIA的自动化恢复思路与弹性训练在目标上一致,都是减少人工干预、缩短停摆时间,但弹性训练对框架改造的要求更高。
待验证50%
10月16日
弹性训练指训练任务能在运行时动态增减计算资源,会触发进程组的重新初始化(rendezvous),使全局rank数量与拓扑发生变化。
待验证50%
允许分布式训练任务在资源数量变化时继续运行的进阶容错能力,要求训练框架支持动态调整并行度与全局batch size
NVIDIA的自动化恢复思路与弹性训练在目标上一致,都是减少人工干预、缩短停摆时间,但弹性训练对框架改造的要求更高。
弹性训练指训练任务能在运行时动态增减计算资源,会触发进程组的重新初始化(rendezvous),使全局rank数量与拓扑发生变化。