概念
FSDP2
PyTorch的全分片数据并行训练方案（Fully Sharded Data Parallel v2），将模型参数、梯度与优化器状态分片到多张GPU以降低单卡显存占用
时间轴 (近 90 天)
10月30日
FSDP2将参数和梯度维护为逐参数张量，而其集合通信路径操作扁平的rank-major缓冲区。
待验证50%
10月30日
在Llama-3.1 70B训练中（每GPU 8K tokens），仅布局转换就占用了6.4%的step时间。
待验证50%
10月19日
Unsloth 支持在 Python 中用 FSDP2 将 LoRA、QLoRA 和全量微调分散到多张 GPU，并可通过 context_parallel_size 切分长序列。
待验证50%
10月4日
5.18.0 版本统一了 device_mesh 初始化以支持流水线并行加张量并行推理，并通过二维（fsdp, tp）device mesh 实现 FSDP2 与专家并行的结合
待验证50%
全部知识事实 (4)
待验证
FSDP2将参数和梯度维护为逐参数张量，而其集合通信路径操作扁平的rank-major缓冲区。
50%待验证在Llama-3.1 70B训练中（每GPU 8K tokens），仅布局转换就占用了6.4%的step时间。
50%待验证Unsloth 支持在 Python 中用 FSDP2 将 LoRA、QLoRA 和全量微调分散到多张 GPU，并可通过 context_parallel_size 切分长序列。
50%待验证5.18.0 版本统一了 device_mesh 初始化以支持流水线并行加张量并行推理，并通过二维（fsdp, tp）device mesh 实现 FSDP2 与专家并行的结合
50%