FSDP
PyTorch官方推出的全分片数据并行训练方案，通过将模型参数、梯度与优化器状态分片到不同GPU设备，大幅降低单机显存占用，支持在有限硬件资源上训练超大规模模型
核心事实
时间轴 (近 90 天)
PyTorch 的分布式数据并行（DDP）和 FSDP 都建立在 NCCL 之上。
对于已有成熟训练框架（如 PyTorch + FSDP/DeepSpeed）的团队，保留训练循环在自己代码中更利于调试和迁移。
Olmo-core 3 将实现从 FSDP 切换到 DDP：每个 rank 在整个累积窗口内持有模型分区，每个优化器步骤只同步一次梯度，并由分布式优化器对 FP32 主权重和优化器状态做分片；专家并行将路由专家分散到各 rank，只通过 NVSHMEM 将被选中的 token 行直接写入目标 rank 缓冲区。
Ray Train 对 DDP 和 FSDP 两种策略均提供封装，能够自动处理进程组初始化、故障恢复和检查点保存
FSDP 将模型参数、梯度和优化器状态拆分到多卡，是训练千亿级参数模型的主流方案
PyTorch提供DDP（DistributedDataParallel）和FSDP（Fully Sharded Data Parallel）等原生分布式训练方案
使用 FSDP 或张量并行的团队需验证不同并行度下同一序列的 logit 输出是否具有确定性，因通信算子的浮点累加顺序可能因并行配置改变
FSDP通过将模型参数、梯度和优化器状态分片存储在多张GPU上，降低单卡显存占用，是训练千亿级参数模型的主流方案之一
在大模型训练场景中，torch.compile与FSDP（完全分片数据并行）的协同优化是社区最活跃的研究方向之一
与DDP相比，FSDP在通信与计算重叠方面更为激进，但带来了更高的调试复杂度
还有 3 条时间轴事件
全部知识事实 (14)
FSDP（Fully Sharded Data Parallel）是 PyTorch 原生的分布式训练方案，由 Meta 贡献
65%待验证PyTorch提供DDP（DistributedDataParallel）和FSDP（Fully Sharded Data Parallel）等原生分布式训练方案
60%待验证PyTorch 的分布式数据并行（DDP）和 FSDP 都建立在 NCCL 之上。
50%待验证对于已有成熟训练框架（如 PyTorch + FSDP/DeepSpeed）的团队，保留训练循环在自己代码中更利于调试和迁移。
50%待验证Olmo-core 3 将实现从 FSDP 切换到 DDP：每个 rank 在整个累积窗口内持有模型分区，每个优化器步骤只同步一次梯度，并由分布式优化器对 FP32 主权重和优化器状态做分片；专家并行将路由专家分散到各 rank，只通过 NVSHMEM 将被选中的 token 行直接写入目标 rank 缓冲区。
50%待验证Ray Train 对 DDP 和 FSDP 两种策略均提供封装，能够自动处理进程组初始化、故障恢复和检查点保存
50%待验证FSDP 将模型参数、梯度和优化器状态拆分到多卡，是训练千亿级参数模型的主流方案
50%待验证使用 FSDP 或张量并行的团队需验证不同并行度下同一序列的 logit 输出是否具有确定性，因通信算子的浮点累加顺序可能因并行配置改变
50%待验证FSDP通过将模型参数、梯度和优化器状态分片存储在多张GPU上，降低单卡显存占用，是训练千亿级参数模型的主流方案之一
50%待验证在大模型训练场景中，torch.compile与FSDP（完全分片数据并行）的协同优化是社区最活跃的研究方向之一
50%待验证FSDP是PyTorch官方推出的全分片数据并行方案，通过将模型参数、梯度与优化器状态分片到不同设备，将单机显存占用从O(N)降至O(N/world_size)
50%待验证与DDP相比，FSDP在通信与计算重叠方面更为激进，但带来了更高的调试复杂度
50%待验证PyTorch的FSDP（Fully Sharded Data Parallel）和DeepSpeed ZeRO优化了内存效率，使单机即可训练百亿参数模型
50%待验证分布式训练策略如 DeepSpeed ZeRO、FSDP、张量并行和流水线并行是训练大型视频模型的必要手段
50%