DDP
一种分布式训练并行策略，每个rank在整个梯度累积窗口内持有独立模型分区，仅在每个优化器步骤同步一次梯度，配合分布式优化器分片主权重和优化器状态。
时间轴 (近 90 天)
PyTorch 的分布式数据并行（DDP）和 FSDP 都建立在 NCCL 之上。
Olmo-core 3 将实现从 FSDP 切换到 DDP：每个 rank 在整个累积窗口内持有模型分区，每个优化器步骤只同步一次梯度，并由分布式优化器对 FP32 主权重和优化器状态做分片；专家并行将路由专家分散到各 rank，只通过 NVSHMEM 将被选中的 token 行直接写入目标 rank 缓冲区。
DDP 将完整模型副本分布到每个 GPU，通过 All-Reduce 同步梯度，适合模型能装入单卡显存的场景
Ray Train 对 DDP 和 FSDP 两种策略均提供封装，能够自动处理进程组初始化、故障恢复和检查点保存
PyTorch提供DDP（DistributedDataParallel）和FSDP（Fully Sharded Data Parallel）等原生分布式训练方案
AppleTalk 内部包含 AARP（地址解析）、DDP（数据报传输）、RTMP（路由）、AFP（文件共享）和 PAP（打印服务）等多个子协议
与DDP相比，FSDP在通信与计算重叠方面更为激进，但带来了更高的调试复杂度
全部知识事实 (7)
PyTorch提供DDP（DistributedDataParallel）和FSDP（Fully Sharded Data Parallel）等原生分布式训练方案
60%待验证PyTorch 的分布式数据并行（DDP）和 FSDP 都建立在 NCCL 之上。
50%待验证Olmo-core 3 将实现从 FSDP 切换到 DDP：每个 rank 在整个累积窗口内持有模型分区，每个优化器步骤只同步一次梯度，并由分布式优化器对 FP32 主权重和优化器状态做分片；专家并行将路由专家分散到各 rank，只通过 NVSHMEM 将被选中的 token 行直接写入目标 rank 缓冲区。
50%待验证DDP 将完整模型副本分布到每个 GPU，通过 All-Reduce 同步梯度，适合模型能装入单卡显存的场景
50%待验证Ray Train 对 DDP 和 FSDP 两种策略均提供封装，能够自动处理进程组初始化、故障恢复和检查点保存
50%待验证AppleTalk 内部包含 AARP（地址解析）、DDP（数据报传输）、RTMP（路由）、AFP（文件共享）和 PAP（打印服务）等多个子协议
50%待验证与DDP相比，FSDP在通信与计算重叠方面更为激进，但带来了更高的调试复杂度
50%