#Goodput优化

非均匀张量并行：NVIDIA提升LLM训练Goodput的容错新方案

NVIDIA提出非均匀张量并行技术，通过允许GPU承担不同计算负载，在硬件故障时无需回滚检查点即可继续训练，显著提升大规模LLM训练的有效产出（Goodput），为超大规模模型训练容错能力提供关键解决方案。