张量并行
多设备推理的核心切分策略之一，将单层模型的张量计算切分到多张GPU上并行执行，实现层内并行加速
核心事实
时间轴 (近 90 天)
多卡并行运行LLM时，张量并行会因卡间频繁同步激活值而受限于PCIe带宽和延迟；流水线并行存在流水线气泡，利用率取决于微批次数。
大参数模型单卡放不下时需要张量并行，多卡通信开销会拉低吞吐，实际成本不能只按参数量线性估算。
并行策略（数据并行、张量并行、流水线并行及其组合）需要与硬件拓扑匹配，否则会出现通信瓶颈。
实际部署中常把张量并行和流水线并行组合使用，并配合跨节点显存统一寻址或高速互联（如NVLink、InfiniBand或高速以太网）。
张量并行把单个权重矩阵按行或按列切开分散到不同设备，每层计算需要节点间做All-Reduce同步，对互联带宽极为敏感。
8节点集群可以通过张量并行或流水线并行将模型切分到不同节点，突破单机显存容量上限。
张量并行把单个张量运算切分到多张卡上协同完成，适合单层参数巨大的模型，但会引入频繁的通信。
分布式推理并行策略包括张量并行（TP）、流水线并行（PP）、专家并行（EP）以及PD分离。
张量并行、流水线并行与数据并行是大模型分布式训练的三种基本策略，常组合使用（即 3D 并行）
分布式推理中，流水线并行（按层切分）对网络带宽要求较低但设备利用率不均；张量并行（拆分单层矩阵运算）通信频繁、对延迟敏感。
还有 24 条时间轴事件
全部知识事实 (20)
扩散模型的核心原理分为前向扩散过程（逐步添加高斯噪声）和反向去噪过程（从噪声中还原图像）两个阶段
90%已验证现代大模型训练通常同时采用数据并行、流水线并行、张量并行和专家并行等多种并行策略组合，即3D或4D并行架构
80%待验证块调度建议将张量并行（TP）限制在NVLink带宽最高的GPU子集内（同一个最小块），数据并行（DP）跨块分布，流水线并行（PP）沿拓扑层次展开
85%待验证张量并行是将单个层的计算（如矩阵乘法）拆分到多个GPU上并行执行，通信频率高，通常要求GPU之间有高带宽互联如NVLink
70%待验证大模型每生成一个Token需要在GPU上执行大量矩阵乘法运算，这是Transformer架构注意力机制的核心计算步骤
60%待验证多卡并行运行LLM时，张量并行会因卡间频繁同步激活值而受限于PCIe带宽和延迟；流水线并行存在流水线气泡，利用率取决于微批次数。
50%待验证大参数模型单卡放不下时需要张量并行，多卡通信开销会拉低吞吐，实际成本不能只按参数量线性估算。
50%待验证并行策略（数据并行、张量并行、流水线并行及其组合）需要与硬件拓扑匹配，否则会出现通信瓶颈。
50%待验证实际部署中常把张量并行和流水线并行组合使用，并配合跨节点显存统一寻址或高速互联（如NVLink、InfiniBand或高速以太网）。
50%待验证8节点集群可以通过张量并行或流水线并行将模型切分到不同节点，突破单机显存容量上限。
50%待验证张量并行把单个权重矩阵按行或按列切开分散到不同设备，每层计算需要节点间做All-Reduce同步，对互联带宽极为敏感。
50%待验证张量并行把单个张量运算切分到多张卡上协同完成，适合单层参数巨大的模型，但会引入频繁的通信。
50%待验证分布式推理并行策略包括张量并行（TP）、流水线并行（PP）、专家并行（EP）以及PD分离。
50%待验证张量并行、流水线并行与数据并行是大模型分布式训练的三种基本策略，常组合使用（即 3D 并行）
50%待验证分布式推理中，流水线并行（按层切分）对网络带宽要求较低但设备利用率不均；张量并行（拆分单层矩阵运算）通信频繁、对延迟敏感。
50%待验证张量并行把同一层的权重矩阵切开放到多台机器，每算一层就需要All-Reduce通信一次，对带宽和延迟极其敏感，通常只在NVLink这类高速互联下才实用。
50%待验证张量并行的通信瓶颈不是单次传输的数据量，而是同步次数乘以每次同步的固有延迟。
50%待验证在张量并行模式下，模型权重在推理开始前已分片常驻各 GPU 显存，跨 PCIe 传输的只有前向传播中的中间激活张量，而非权重。
50%待验证MoE模型在分布式训练中通常需同时部署数据并行、张量并行、流水线并行和专家并行四种策略
50%待验证Megatron Core采用张量并行、流水线并行和数据并行的三维并行策略
50%