Mixtral
Mistral AI推出的混合专家（MoE）开源大语言模型，将MoE架构带入主流社区视野，采用稀疏激活机制
核心事实
时间轴 (近 90 天)
MoE被广泛应用于大规模语言模型（如Mixtral、DeepSeek等），是扩展模型容量而不线性增加推理开销的重要手段。
Mistral 通过 Mistral 7B、Mixtral 等开放权重模型积累社区口碑，Large 系列则是其商业化收入的支柱。
混合专家模型（MoE）是模块化思想在深度学习中最成熟的工程实现，其核心是在网络中设置多个专家子网络和一个门控网络。
MoE技术路线后来被DeepSeek、Mixtral等模型广泛采用，成为大模型降本增效的主流方案。
Mixtral 是 Mixture-of-experts 与 Mistral 的合成词，指代稀疏专家混合模型。
DeepSeek、Mixtral 等 MoE 模型采用「大总量、小激活」的命名方式。
Nemotron Bolt 3.5 在本地 MoE 部署赛道上的竞争对手包括 Mistral 的 Mixtral 系列、Qwen 的 MoE 变体和 DeepSeek 的轻量级模型。
Mistral的Mixtral系列采用稀疏专家架构，在推理成本上有明显优势，其效率导向技术路线与在轨部署的功耗约束天然契合。
Groq 是一家提供推理加速服务的平台，通过自研的 LPU 芯片让开源大模型以极低延迟返回结果，并提供兼容 OpenAI 风格的 API。
Groq 本身不是模型，而是提供对多种开源模型（如 Llama、Qwen、Mixtral 等）调用权的平台，可以在不改动工作流结构的前提下随时切换模型。
还有 25 条时间轴事件
全部知识事实 (20)
Mistral是法国AI公司，以高效的开源模型著称
90%已验证Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表
90%已验证MOE架构将模型内部划分为多个专家子网络，每次推理时由门控网络动态选择少数专家参与计算，实际激活参数量远小于总参数量
90%已验证混合专家模型（MoE）通过门控机制对每个输入token动态选择少数专家激活，从而在保持模型能力的同时降低单次计算开销
85%已验证混合专家架构MoE将前馈网络层替换为多个专家子网络，通过路由器动态激活部分专家，使实际激活参数量仅为总量一小部分
85%已验证Google的Gemini 1.5系列已被证实采用MoE（混合专家）架构
85%已验证GPT-4和Mixtral等主流大模型也采用了MoE架构
85%已验证MoE架构最早由Jacobs等人在1991年提出，近年来被Google的Switch Transformer和Mixtral等模型重新带入主流
80%已验证Together AI 是一个专注于开源大模型的云推理平台，支持 Llama、Mixtral、Qwen 等主流开源模型
75%已验证Meta开源了Llama系列模型，阿里开源了Qwen系列，Mistral AI也采用开源策略
75%已验证Groq 以 API 方式托管 Llama、Mixtral 等开源模型并提供免费额度
65%已验证混合专家架构（MoE）通过路由机制仅激活最相关的专家子网络（通常为总参数量的1/8至1/4），Mistral的Mixtral和Google的Gemini 1.5均采用该架构
65%已验证Meta的LLaMA系列、Google的Gemma、Mistral AI的Mistral/Mixtral、阿里的Qwen系列都在Transformers中获得支持
65%待验证Mixtral and DeepSeek-V2 adopt sparse activation strategies
90%待验证Meta 的 LLaMA 系列、Mistral AI 的 Mistral/Mixtral、Google 的 Gemma 等开源模型都选择通过 Hugging Face 平台和 Transformers 格式进行发布
90%待验证MoE架构最早由Google在2017年提出，后被Mistral的Mixtral系列和阿里的Qwen系列等广泛采用
85%待验证DBRX在发布时在多项基准测试中超越了同期的Llama 2 70B和Mixtral等开源模型
75%待验证Meta的Llama系列、Mistral AI的Mistral/Mixtral系列以及DeepSeek均提供可商用或研究用途的开放权重
70%待验证Switch Transformer和Mixtral系列广泛采用了MoE架构
70%待验证SGLang对MoE模型的专家并行支持比vLLM更为成熟，使其成为部署Mixtral、DeepSeek、Kimi K2.6等MoE架构模型的首选框架之一
70%