待验证50% 置信事实精确时间

张量并行(TP)将单个Transformer层权重矩阵切分到不同GPU,每层前向传播需要All-Reduce通信;流水线并行(PP)将模型按层切分,通信量小但存在气泡导致利用率下降

1

来源数

50%

置信度

长期有效

时效性

2026/9/10

首次发现

来源

纯GPU推理场景下CPU性能影响分析

涉及实体

张量并行concept 流水线并行concept

相关事实

待验证流水线并行按模型的不同层将计算分配到不同设备，通信量仅为相邻层的激活张量，但存在流水线气泡问题71% 相似待验证张量并行将单层权重切分到多卡，延迟低但通信开销大；流水线并行按层切分，吞吐高但首token延迟长67% 相似待验证模型并行分为将单层内的张量切分到多卡的张量并行和将不同层分配到不同设备的流水线并行两种方式61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/887071

API

curl https://kongchang.com/api/v1/knowledge/claims/887071

MCP

get_claim(id=887071)