专家并行
MoE模型分布式训练中的并行策略，将不同专家子网络分配到不同GPU设备上，通过All-to-All通信实现token路由与聚合，以支持超大规模MoE模型的高效训练
核心事实
时间轴 (近 90 天)
专家并行（Expert Parallelism）将不同专家放置在不同设备上，token 经路由后被发送到对应设备计算，批次为 1 时跨设备通信延迟占比很高。
优化专家调度可以通过按访问模式对专家权重做布局调整、保留热点专家常驻缓存，以及与专家并行策略配合来减少跨设备数据搬运，且通常不需要改变模型结构。
V4.1 Flash的专家调度策略：每1000步监测一次负载，每10000步重新分配一次专家，最终最忙的卡只比平均水平多忙9%。
分布式推理并行策略包括张量并行（TP）、流水线并行（PP）、专家并行（EP）以及PD分离。
在GPU层面，采用宽专家并行（wide-EP）时，不同GPU上承载的专家负载可能差异巨大，导致某些GPU成为瓶颈，拖慢整个批次的处理。
专家并行在路由决策产生后需要通过All-to-All通信把Token发送到对应设备再汇聚结果
MoE模型中每个token只被路由到少数几个专家，产生Dispatch（分发）和Combine（合并）两个通信原语
混合专家（MoE）是一种模型架构，由多个专门处理不同子任务的专家子网络和一个决定输入交给哪个专家的门控网络共同构成
专家型智能体的本质是把某一个领域专家打造成一个数字分身
全部知识事实 (9)
混合专家（MoE）是一种模型架构，由多个专门处理不同子任务的专家子网络和一个决定输入交给哪个专家的门控网络共同构成
75%已验证专家型智能体的本质是把某一个领域专家打造成一个数字分身
75%待验证专家并行（Expert Parallelism）将不同专家放置在不同设备上，token 经路由后被发送到对应设备计算，批次为 1 时跨设备通信延迟占比很高。
50%待验证优化专家调度可以通过按访问模式对专家权重做布局调整、保留热点专家常驻缓存，以及与专家并行策略配合来减少跨设备数据搬运，且通常不需要改变模型结构。
50%待验证V4.1 Flash的专家调度策略：每1000步监测一次负载，每10000步重新分配一次专家，最终最忙的卡只比平均水平多忙9%。
50%待验证分布式推理并行策略包括张量并行（TP）、流水线并行（PP）、专家并行（EP）以及PD分离。
50%待验证在GPU层面，采用宽专家并行（wide-EP）时，不同GPU上承载的专家负载可能差异巨大，导致某些GPU成为瓶颈，拖慢整个批次的处理。
50%待验证专家并行在路由决策产生后需要通过All-to-All通信把Token发送到对应设备再汇聚结果
50%待验证MoE模型中每个token只被路由到少数几个专家，产生Dispatch（分发）和Combine（合并）两个通信原语
50%