MoE
混合专家模型（Mixture of Experts，MoE）是一种机器学习架构范式，由多个专门化的子网络（称为"专家"）和一个门控路由机制组成。在处理每个输入时，路由机制仅激活其中少数专家，而非全部参数，从而在保持模型整体容量的同时显著降低单次推理的计算量。MoE广泛应用于大规模语言模型和深度学习系统，是提升模型规模与计算效率之间平衡的重要技术路径。
核心事实
时间轴 (近 90 天)
Iris模型采用Mixture-of-Experts（MoE，混合专家）架构，35B-A3B表示总参数量350亿、每次推理激活参数量30亿
对于1.6万亿总参数、490亿激活参数配置，实际推理时只有约3%的参数参与计算
对于只使用单一语言的用户，多语言权重在推理时几乎处于沉睡状态但占用显存和存储空间
大型语言模型（尤其是MoE架构）的体积中有相当一部分用于支撑多语言能力
大参数小激活的MoE设计降低了本地部署的硬件门槛
建议开发者提前了解GLM、Mistral、Llama、DeepSeek、MoE等底座模型以帮助理解微调训练的代码逻辑
MoE模型的路由是逐Token动态选择，因此全部35B参数必须同时常驻显存，计算便宜但显存不省
Ornith 1.5 是混合专家（MoE）模型，内部有256个专家，每个 Token 只激活8个专家，实际激活约3B参数
vLLM将MoE推理列为独立议题，表明其已针对这类架构构建了系统级优化支持
MoE的动态路由特性给推理系统引入专家负载不均衡、跨设备通信开销和动态调度复杂度等挑战
还有 40 条时间轴事件
全部知识事实 (20)
DeepSeek-V3采用了混合专家架构（MoE），总参数量达6710亿，但每次推理仅激活约370亿参数
90%已验证MOE架构将模型内部划分为多个专家子网络，每次推理时由门控网络动态选择少数专家参与计算，实际激活参数量远小于总参数量
90%已验证DeepSeek是由中国人工智能公司深度求索开发的大语言模型系列
90%已验证GPT-4和Mixtral等主流大模型也采用了MoE架构
85%已验证DeepSeek-V3拥有671B总参数，但每次推理仅激活约37B参数
80%已验证Gemma 4的26B MOE模型采用混合专家架构，拥有260亿总参数但任意时刻仅约40亿参数处于激活状态
80%已验证MoE架构最早由Jacobs等人在1991年提出，近年来被Google的Switch Transformer和Mixtral等模型重新带入主流
80%已验证DeepSeek采用MOE（Mixture of Experts，混合专家）架构，每次推理时只激活部分专家子网络而非全部参数
80%已验证DeepSeek采用了混合专家架构（MoE）和多头潜在注意力机制（MLA）
80%已验证MoE架构的核心思想源自1991年Jacobs等人提出的混合专家系统
80%已验证Flash模型通常采用知识蒸馏技术，以旗舰模型为教师模型训练出参数量更小、推理速度更快的学生模型
75%已验证专家负载不均衡是MoE最典型的训练难题，可能导致'专家崩溃'现象，通常引入辅助负载均衡损失或Token丢弃策略解决
75%已验证Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表
75%已验证Qwen 3.8 Flash Next采用混合专家架构（MoE）
70%已验证DeepSeek V4 Flash uses a Mixture of Experts (MOE) architecture with a total parameter count exceeding 600 billion (600B+).
70%已验证Qwen3.6 35B-A3B是混合专家架构（MoE），总参数量35B，每次推理实际激活参数量约3B
70%已验证Google在Switch Transformer中大规模验证了Mixture of Experts（MOE）架构
70%已验证MoE架构仅激活部分专家网络，通常为总参数量的15-25%
65%已验证若MoE模型每次推理仅激活约1/8的参数，实际计算开销可能仅相当于百亿参数级别的稠密模型
65%已验证GPT-4采用混合专家（MoE）架构，估计总参数量达1.8万亿，每次推理实际激活参数约为总量的1/8
65%