分布式训练
将深度学习模型训练任务分布到多个GPU或多个节点上并行执行的技术范式，通过数据并行、模型并行等策略加速大规模模型训练，依赖高速互联网络进行梯度同步
时间轴 (近 90 天)
分布式训练中的“hang”多由集合通信调用不匹配引起，例如各 rank 进入的 collective 顺序或数量不一致，或某个 rank 因 OOM、异常退出而未参与。
判断一个训练库是否支持水平扩展，关键看它是否内置了对分布式通信后端（如 NCCL、Gloo）的封装、是否支持分片数据加载器与梯度累积。
分布式训练是指单张 GPU 无法容纳模型或数据时，将训练任务拆分到多卡、多机并行执行，常见策略包括数据并行、张量并行和流水线并行。
开源模型、模型蒸馏和分布式训练技术的发展，正在部分抵消AI权力集中的趋势。
分布式训练时保存检查点还需保存数据加载器的状态和随机数种子，否则恢复后数据顺序和增广结果会不一致，导致训练不可复现。
在长周期训练中，哪怕每个epoch有千分之一的样本错位，经过数万step累积后也可能显著改变模型的收敛路径，使得不同资源调度下的实验结果失去可比性。
All-Reduce 是分布式训练中最核心的集合通信操作，其常见实现包括 Ring All-Reduce 和 Tree All-Reduce，通信量随模型参数量线性增长
在大规模分布式训练中，前向传播、反向传播与AllReduce/AllGather通信操作相互交织，若某一通信操作未完成，下游计算算子必须等待，形成气泡（bubble）
分布式训练中的通信原语（如AllReduce梯度聚合）会因并行度配置、网络拓扑差异带来非确定性的累积误差
网络拓扑不对称、集合通信路径异常、GPU间互联退化、数据加载与存储瓶颈等隐性故障在传统监控面板上都显示为绿色，只有在真实工作负载压力下才会显形
还有 1 条时间轴事件
全部知识事实 (11)
分布式训练中的“hang”多由集合通信调用不匹配引起，例如各 rank 进入的 collective 顺序或数量不一致，或某个 rank 因 OOM、异常退出而未参与。
50%待验证判断一个训练库是否支持水平扩展，关键看它是否内置了对分布式通信后端（如 NCCL、Gloo）的封装、是否支持分片数据加载器与梯度累积。
50%待验证分布式训练是指单张 GPU 无法容纳模型或数据时，将训练任务拆分到多卡、多机并行执行，常见策略包括数据并行、张量并行和流水线并行。
50%待验证分布式训练时保存检查点还需保存数据加载器的状态和随机数种子，否则恢复后数据顺序和增广结果会不一致，导致训练不可复现。
50%待验证在长周期训练中，哪怕每个epoch有千分之一的样本错位，经过数万step累积后也可能显著改变模型的收敛路径，使得不同资源调度下的实验结果失去可比性。
50%待验证All-Reduce 是分布式训练中最核心的集合通信操作，其常见实现包括 Ring All-Reduce 和 Tree All-Reduce，通信量随模型参数量线性增长
50%待验证在大规模分布式训练中，前向传播、反向传播与AllReduce/AllGather通信操作相互交织，若某一通信操作未完成，下游计算算子必须等待，形成气泡（bubble）
50%待验证分布式训练中的通信原语（如AllReduce梯度聚合）会因并行度配置、网络拓扑差异带来非确定性的累积误差
50%待验证网络拓扑不对称、集合通信路径异常、GPU间互联退化、数据加载与存储瓶颈等隐性故障在传统监控面板上都显示为绿色，只有在真实工作负载压力下才会显形
50%待验证在分布式训练中，少量节点内核参数与其他节点不一致会拖低整个训练作业的吞吐量，形成短板节点
50%待验证开源模型、模型蒸馏和分布式训练技术的发展，正在部分抵消AI权力集中的趋势。
50%