概念EP / 专家并行
Expert Parallelism
混合专家（MoE）模型分布式推理的一种切分方式，将专家网络分散到不同GPU上，每个GPU仅承载部分专家，以降低单卡显存压力。
时间轴 (近 90 天)
10月12日
MoE模型在分布式训练中通常需同时部署数据并行、张量并行、流水线并行和专家并行四种策略
待验证50%
10月12日
专家并行将不同专家放置在不同设备上，配合All-to-All通信完成token的动态路由分发
待验证50%
9月24日
专家并行（Expert Parallelism）将不同专家分配到不同GPU设备上，token在设备间的路由和聚合需要高效的All-to-All通信原语
待验证50%
9月24日
专家并行对互连带宽（如NVLink、InfiniBand）提出很高要求
待验证50%
9月15日
多机多卡部署中专家并行会引入跨设备的 All-to-All 通信，这是 MoE 在分布式环境下延迟高于等算力稠密模型的主要原因之一
待验证50%