概念Pipeline Parallelism / PP
流水并行
将模型按层切分到不同 GPU 上的并行策略，每个 token 仅在层边界跨设备通信一次，对 PCIe 带宽几乎免疫
时间轴 (近 90 天)
10月21日
流水并行按层将模型切分成多个阶段，不同阶段放在不同设备上，以微批次流水线的方式执行，能缓解显存压力但存在流水线气泡。
待验证50%
将模型按层切分到不同 GPU 上的并行策略，每个 token 仅在层边界跨设备通信一次，对 PCIe 带宽几乎免疫
流水并行按层将模型切分成多个阶段，不同阶段放在不同设备上，以微批次流水线的方式执行，能缓解显存压力但存在流水线气泡。