Mixtral 8x7B
Mixtral 8x7B是由Mistral AI开发的混合专家（Mixture of Experts，MoE）架构大语言模型，由8个各含70亿参数的专家子网络组成，推理时每个token仅激活其中部分专家，在保持较低计算开销的同时实现较高的模型容量。该模型支持多语言文本理解与生成任务，在代码、推理等多项基准测试中表现突出，是开源社区中具有代表性的稀疏MoE语言模型之一。
核心事实
时间轴 (近 90 天)
Mistral过去的产品线中，开放权重通常落在Mistral 7B、Mixtral 8x7B这类中小规模模型上，而Large系列一直以API商业服务为主。
Beam 的激活比例约为 4.6%，低于 Mixtral 8x7B 的约 46%。
Switch Transformer 和 Mixtral 8x7B 是 MoE 架构的典型代表，总参数量大但每次只激活一部分专家。
典型 MoE 配置如 Mixtral 8x7B，每层有 8 个专家，每个 token 只被路由到其中 2 个，单次激活参数量约为总量的三分之一（加上共享权重）。
MoE架构后来被Mixtral 8x7B、GPT-4（据推测）、DeepSeek等模型广泛采用
Mixtral 8×7B、DeepSeek-V2等开源模型均采用MoE架构
Mixtral 8x7B是Mistral于2023年底发布的混合专家架构模型
混合专家模型（MoE）中每个输入token只会被路由到其中2-4个专家处理，其余专家保持休眠
MoE中K=2是目前实践中最常见的选择，DeepSeek-MoE、Mixtral 8x7B等均采用这一设定
MoE架构中Mixtral 8x7B模型总参数46.7B,但每个token仅激活约12.9B参数(2个专家),推理成本接近13B参数的稠密模型,性能可媲美70B级别
还有 7 条时间轴事件
全部知识事实 (20)
Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表
90%已验证MoE 的大容量小激活设计使模型知识容量与推理成本得以解耦
85%已验证混合专家架构（MoE）在推理时仅激活约10%-30%的总参数量，显著降低单次推理的FLOPs和显存占用
85%已验证Mistral AI的Mixtral 8x7B于2023年底将MoE架构带入主流开源视野
80%已验证Mixtral 8×7B、DeepSeek-V2等开源模型均采用MoE架构
65%已验证Mistral AI的Mixtral 8x7B采用MoE架构，总参数量约47B，但每次推理实际激活的参数仅约13B
65%已验证GPT-4据传采用了MoE设计，Mixtral 8x7B是开源领域的代表实现
65%已验证Mixtral 8x7B总参数约46.7B，每次前向传播仅激活约12.9B参数，推理计算量比同等性能密集模型降低约60%
65%已验证MoE架构通过路由器动态选择少数专家参与计算，实现稀疏激活，GPT-4、Mistral、DeepSeek等主流前沿模型均采用类似设计
65%已验证Mistral的Mixtral 8x7B让MoE架构在开源社区中广泛流行
65%已验证Qwen3.5的参数激活率为4.3%，而DeepSeek V3的671B模型激活率为5.5%
65%部分验证Mixtral 8x7B采用了混合专家（MoE）架构，在推理时只激活部分参数
75%待验证Mixtral 8x7B拥有约467亿总参数，但每次前向传播仅激活约130亿参数，推理计算量接近13B模型，仍需约90GB显存（FP16）
60%待验证Mixtral 8x7B采用8个专家取2的MoE配置
60%待验证混合专家架构最早可追溯至1991年 Jacobs 等人的研究，Google Switch Transformer（2021）和 Mistral 的 Mixtral 8x7B（2023）使其重回主流
60%待验证Mistral AI的7B参数版本性能接近早期GPT-3.5
60%待验证MoE架构的典型代表包括Mixtral 8x7B和DeepSeek-V2
60%待验证Mistral过去的产品线中，开放权重通常落在Mistral 7B、Mixtral 8x7B这类中小规模模型上，而Large系列一直以API商业服务为主。
50%待验证Beam 的激活比例约为 4.6%，低于 Mixtral 8x7B 的约 46%。
50%待验证Switch Transformer 和 Mixtral 8x7B 是 MoE 架构的典型代表，总参数量大但每次只激活一部分专家。
50%