流水线并行
多设备推理的核心切分策略之一，按模型的不同层将计算分配到不同设备，数据在各GPU间依次流转，实现跨设备协同推理
核心事实
时间轴 (近 90 天)
并行策略（数据并行、张量并行、流水线并行及其组合）需要与硬件拓扑匹配，否则会出现通信瓶颈。
实际部署中常把张量并行和流水线并行组合使用，并配合跨节点显存统一寻址或高速互联（如NVLink、InfiniBand或高速以太网）。
8节点集群可以通过张量并行或流水线并行将模型切分到不同节点，突破单机显存容量上限。
分布式推理并行策略包括张量并行（TP）、流水线并行（PP）、专家并行（EP）以及PD分离。
张量并行、流水线并行与数据并行是大模型分布式训练的三种基本策略，常组合使用（即 3D 并行）
分布式推理中，流水线并行（按层切分）对网络带宽要求较低但设备利用率不均；张量并行（拆分单层矩阵运算）通信频繁、对延迟敏感。
MoE模型在分布式训练中通常需同时部署数据并行、张量并行、流水线并行和专家并行四种策略
Megatron Core采用张量并行、流水线并行和数据并行的三维并行策略
方案将Transformer按层拆分，Mac负责每个256-token批次的第1–40层，算完后将激活值通过USB-C流式传给手机，手机用自己的GPU跑第41–64层，实现流水线并行
微控制器集群中最常见的分布策略是流水线并行（Pipeline Parallelism），将Transformer模型按层切分
还有 8 条时间轴事件
全部知识事实 (20)
扩散模型的核心原理分为前向扩散过程（逐步添加高斯噪声）和反向去噪过程（从噪声中还原图像）两个阶段
90%已验证现代大模型训练通常同时采用数据并行、流水线并行、张量并行和专家并行等多种并行策略组合，即3D或4D并行架构
80%待验证块调度建议将张量并行（TP）限制在NVLink带宽最高的GPU子集内（同一个最小块），数据并行（DP）跨块分布，流水线并行（PP）沿拓扑层次展开
85%待验证GPU非确定性操作在设计上优先考虑性能而非确定性，强制固定执行顺序会引入大量同步屏障显著降低并行效率
60%待验证并行策略（数据并行、张量并行、流水线并行及其组合）需要与硬件拓扑匹配，否则会出现通信瓶颈。
50%待验证实际部署中常把张量并行和流水线并行组合使用，并配合跨节点显存统一寻址或高速互联（如NVLink、InfiniBand或高速以太网）。
50%待验证8节点集群可以通过张量并行或流水线并行将模型切分到不同节点，突破单机显存容量上限。
50%待验证分布式推理并行策略包括张量并行（TP）、流水线并行（PP）、专家并行（EP）以及PD分离。
50%待验证张量并行、流水线并行与数据并行是大模型分布式训练的三种基本策略，常组合使用（即 3D 并行）
50%待验证分布式推理中，流水线并行（按层切分）对网络带宽要求较低但设备利用率不均；张量并行（拆分单层矩阵运算）通信频繁、对延迟敏感。
50%待验证MoE模型在分布式训练中通常需同时部署数据并行、张量并行、流水线并行和专家并行四种策略
50%待验证Megatron Core采用张量并行、流水线并行和数据并行的三维并行策略
50%待验证方案将Transformer按层拆分，Mac负责每个256-token批次的第1–40层，算完后将激活值通过USB-C流式传给手机，手机用自己的GPU跑第41–64层，实现流水线并行
50%待验证流水线并行的代价是每处理一个token都要经历完整的端到端等待，推理延迟随节点数线性叠加
50%待验证微控制器集群中最常见的分布策略是流水线并行（Pipeline Parallelism），将Transformer模型按层切分
50%待验证拓扑感知调度实践中，张量并行组的 GPU 应优先放置在同一节点内，流水线阶段可跨节点但应尽量同机架，数据并行副本则可灵活分布
50%待验证该部署采用TP2 PP4并行方案：显卡两两一组做张量并行共四组，组间做流水线并行
50%待验证流水线并行按模型层做纵向切分，通信量远小于张量并行，但存在流水线气泡问题导致GPU空闲
50%待验证多GPU推理的并行化策略包括张量并行（将单个数学运算拆分到多块GPU）、流水线并行（将不同神经网络层分配给不同GPU）和数据并行（复制整个模型处理多批数据）
50%待验证本次测试大概率采用流水线并行方式部署多GPU，模型前半部分层在第一张卡后半部分层在第二张卡
50%