已验证70% 置信事实时间未知
Google在Switch Transformer中大规模验证了Mixture of Experts（MOE）架构
4
来源数
70%
置信度
长期有效
时效性
2026/5/31
首次发现
来源
大模型命名规则解析：参数量、量化格式与显存需求速查
bilibili尚书省说书人
涉及实体
相关事实
待验证2022年Google的《Switch Transformers》将MoE中选Top-K专家简化为选Top-1专家，并通过辅助负载均衡损失函数解决专家坍塌问题80% 相似待验证MoE混合专家架构最早可追溯至1991年的学术论文，谷歌于2021年发布Switch Transformer将专家数量扩展至2048个78% 相似已验证谷歌2021年发布的Switch Transformer通过将路由简化为Top-1选择并引入专家容量机制缓解负载不均衡问题76% 相似已验证MoE架构由Shazeer等人于2017年在论文《Outrageously Large Neural Networks》中提出，随后由Google在Switch Transformer（2021年）中大规模验证76% 相似待验证MoE现代形态可追溯至Google 2017年论文，2022年Google的Switch Transformer证明万亿参数稀疏模型可高效训练74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/4433API
curl https://kongchang.com/api/v1/knowledge/claims/4433MCP
get_claim(id=4433)