10款开源MoE模型路由机制对比：DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss

为什么MoE的路由机制比参数量更值得关注

混合专家（MoE）架构已经成为大模型扩容的主流路径，但大多数讨论停留在「总参数多少、激活多少」的层面。真正决定一个MoE模型表现和训练稳定性的，是它如何把每个token分配给专家——也就是路由（routing）机制。MarkTechPost发布的一篇配置核查式对比，系统梳理了10款开源MoE模型的路由设计，涵盖总参数与激活参数、专家数量、top-k选择、共享专家、门控函数以及负载均衡方法。这篇文章不堆砌参数表，而是从路由设计的角度拆解各家的取舍。

对开发者和技术选型者来说，理解这些差异有实际意义：路由决定了模型的推理成本分布、训练时的负载均衡难度，以及微调时的行为可预测性。

路由机制的核心维度

专家数量与top-k：稀疏度的直接来源

MoE的基本逻辑是每个token只激活部分专家。top-k决定了每次前向计算调用几个专家，专家总数则决定了模型容量上限。两者共同定义了稀疏比：总参数与激活参数之间的差距。k值小、专家多，稀疏度高，单token计算量低，但路由决策的容错空间也小；k值大则更接近稠密模型的稳定性，代价是计算成本上升。

各模型在这两个维度上的选择差异明显，直接反映了它们对推理效率与模型质量的优先级排序。

路由崩溃（routing collapse） 是理解稀疏度设计时需要区分的一个现象。它指门控网络在训练早期就把大部分 token 集中分配给极少数专家，导致其余专家几乎收不到梯度、参数长期得不到更新。这会使得模型的实际容量远低于名义上的专家总数所对应的容量，表现为训练损失下降缓慢或验证集表现停滞。top-k 越小、专家越多，单个专家被选中的概率越低，路由崩溃的风险就越高，这也是高稀疏度设计必须配合更强负载均衡约束的原因。

共享专家：给路由一个「保底选项」

共享专家（shared expert）是近年MoE设计的重要演进。它指一部分专家对所有token恒定激活，不参与路由竞争。这样做的价值在于：通用知识有了稳定的承载通道，路由网络只需专注于区分专业性需求，降低了路由崩溃的风险。DeepSeek^广告系列是共享专家设计的代表性实践者，后续多个开源模型也采纳了类似思路。

共享专家的数量占比、是否与路由专家共享门控，各家做法并不统一，这也是对比中最能体现设计哲学的部分。

专家并行（expert parallelism, EP） 是 MoE 在分布式训练与推理中常用的一种切分方式，与前文提到的共享专家、负载均衡紧密相关。它的做法是把不同专家放置在不同的设备上，每个 token 经路由后被发送到持有目标专家的设备上计算，再把结果聚合回来。这样做的优势是专家数量可以随设备数扩展，突破单卡显存限制；代价是引入了 all-to-all 通信，通信量取决于路由的分散程度——负载越不均衡，某些设备上的专家被反复调用，另一些设备则空转，整体吞吐被最慢的设备拖住。因此专家数量、top-k 与负载均衡策略的选择，实际上也决定了专家并行下的通信开销与硬件利用率。

门控函数与负载均衡

门控函数决定token到专家的打分方式，常见的有softmax门控与sigmoid门控。负载均衡方法则解决MoE训练的经典难题：路由容易塌缩到少数专家，导致其余专家训练不足。辅助负载均衡损失（auxiliary loss）是主流方案，但不同模型在损失系数、是否使用专家容量因子、是否采用无辅助损失的均衡策略上各有取舍。

这部分细节在公开材料中往往被简化，MarkTechPost的对比以配置文件为依据进行核查，可信度高于二手转述。

专家容量因子（capacity factor） 是负载均衡实现中的一个关键参数。在多数 MoE 实现中，每个专家会预设一个单批次内可处理的 token 上限，即容量，等于「平均每专家应处理的 token 数 × 容量因子」。超过容量的 token 会被丢弃（drop）或绕过该专家，以保证各设备计算量对齐。容量因子设得小，计算效率高但丢弃率高，可能损失模型质量；设得大，则丢弃减少但显存与算力浪费增加。它与 top-k、专家总数共同决定了一次前向的实际计算图，也是各家配置差异的重要来源。

各模型的路由设计取向

据MarkTechPost的配置核查，DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss等模型在路由设计上呈现出几种典型路线。DeepSeek延续细粒度专家加共享专家的组合，强调路由的专精化；Qwen系列在专家规模与top-k配置上偏向务实的效率平衡；Mixtral作为较早的开源MoE代表，采用相对简洁的top-2路由，设计透明度高，成为后续研究的重要基线；Llama 4与gpt-oss则在更大规模上处理专家并行与负载均衡问题。

需要说明的是，上述对比的价值在于提供一份可核验的配置清单，而非给出「谁的路由更好」的结论。路由设计与模型规模、训练数据、推理硬件紧密耦合，脱离上下文比较单个维度意义有限。

对开发者的实际参考价值

选择或微调MoE模型时，路由配置值得重点关注三件事。其一是激活参数规模，它直接决定推理显存与吞吐的基线；其二是top-k与专家总数的组合，影响批处理效率与延迟表现；其三是负载均衡策略，如果计划继续预训练或大规模微调，辅助损失的设定会显著影响训练稳定性。

对于做模型压缩或蒸馏的团队，共享专家的存在意味着部分能力可以更稳定地迁移，这是一个常被忽略的实用细节。MarkTechPost这份对比以配置为依据，适合作为选型时的核对清单，但具体部署效果仍需以实际基准测试为准。

常见问题

MoE模型的激活参数是否等同于稠密模型的有效参数量？ 不完全等同。激活参数反映单token的计算路径规模，但路由带来的专家切换和负载不均衡会引入额外开销，实际有效容量还取决于专家利用率和训练质量。

共享专家是否越多越好？ 不是。共享专家过多会削弱MoE的稀疏优势，增加恒定计算成本；过少则失去稳定通用能力通道的作用，需要在稀疏度与稳定性之间权衡。

辅助负载均衡损失是必需的吗？ 多数MoE训练依赖它防止路由塌缩，但也有模型探索无辅助损失的均衡方案。是否需要取决于训练规模与路由设计，不能一概而论。