已验证65% 置信事实精确时间
MoE 架构将传统 Transformer 中的前馈网络替换为多个并行专家子网络，通过门控网络按 Top-K 策略（通常K=2）选择部分专家参与计算
3
来源数
65%
置信度
长期有效
时效性
2026/9/3
首次发现
来源
涉及实体
相关事实
已验证MoE架构每次前向传播时门控网络根据输入token特征动态选取Top-K个专家参与计算，其余专家保持静默77% 相似待验证稀疏激活路由机制在 Switch Transformer、Mixtral 等研究中得到验证，输入 token 经由门控网络动态分配给最相关的专家子网69% 相似待验证Switch Transformer将每个Token的专家选择简化为Top-1，并引入辅助损失函数防止Token涌向少数热门专家68% 相似待验证MoE 架构中专家路由逐 token 动态变化，导致每步需加载不同专家权重，内存访问随机化，容易触发带宽瓶颈和调度抖动。67% 相似已验证Transformer每层包含多头自注意力和前馈神经网络两个核心子模块63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/850085API
curl https://kongchang.com/api/v1/knowledge/claims/850085MCP
get_claim(id=850085)