模型
DeepSeek-MoE
DeepSeek发布的稀疏混合专家（MoE）大语言模型，采用细粒度专家分割和共享专家隔离等创新设计，总参数约145B，激活参数约22B。
时间轴 (近 90 天)
9月30日
MoE架构通过轻量级路由器决定每个输入token交由哪几位专家处理，主流实现中每个token通常只激活2到8个专家
待验证50%
9月9日
MoE中K=2是目前实践中最常见的选择，DeepSeek-MoE、Mixtral 8x7B等均采用这一设定
待验证50%
DeepSeek发布的稀疏混合专家（MoE）大语言模型，采用细粒度专家分割和共享专家隔离等创新设计，总参数约145B，激活参数约22B。
MoE架构通过轻量级路由器决定每个输入token交由哪几位专家处理，主流实现中每个token通常只激活2到8个专家
MoE中K=2是目前实践中最常见的选择，DeepSeek-MoE、Mixtral 8x7B等均采用这一设定