[控场AI]
模型Mixtral 8×7B

Mixtral

Mistral AI推出的混合专家(MoE)开源大语言模型,将MoE架构带入主流社区视野,采用稀疏激活机制

核心事实

时间轴 (近 90 天)

8月4日

Mixtral and DeepSeek-V2 adopt sparse activation strategies

待验证90%
7月2日

以Google Switch Transformer、Mixtral为代表的MoE模型成功部署后,MoE架构已成为超大规模语言模型的主流技术选择

待验证50%
6月1日

Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表

已验证75%

全部知识事实 (3)

来源文章