待验证50% 置信事实精确时间
张量并行将单层权重切分到多卡，通信密集，适合高带宽互联；流水线并行按层切分到不同设备，存在气泡开销，适合层数多的模型。
1
来源数
50%
置信度
长期有效
时效性
2026/11/4
首次发现
来源
Polymorphic Inference：让推理引擎像生物一样自适应
rss2026/11/4
涉及实体
相关事实
待验证流水线并行按模型的不同层将计算分配到不同设备，通信量仅为相邻层的激活张量，但存在流水线气泡问题79% 相似待验证张量并行将单层权重切分到多卡，延迟低但通信开销大；流水线并行按层切分，吞吐高但首token延迟长78% 相似待验证模型并行分为将单层内的张量切分到多卡的张量并行和将不同层分配到不同设备的流水线并行两种方式77% 相似待验证张量并行(TP)将单个Transformer层权重矩阵切分到不同GPU,每层前向传播需要All-Reduce通信;流水线并行(PP)将模型按层切分,通信量小但存在气泡导致利用率下降71% 相似待验证流水线并行按层将模型纵向切分，不同GPU负责不同层组，适合跨节点部署，但需要设计微批次调度以减少pipeline bubble带来的空闲等待71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1135842API
curl https://kongchang.com/api/v1/knowledge/claims/1135842MCP
get_claim(id=1135842)