待验证50% 置信事实精确时间
Google的Switch Transformer和Mixtral 8x7B是MoE架构的经典代表，Qwen3、DeepSeek-V3等也采用了该架构
1
来源数
50%
置信度
长期有效
时效性
2026/9/3
首次发现
来源
涉及实体
相关事实
待验证Google 的 Switch Transformer（2021）和 Mistral 的 Mixtral 8x7B（2023）都采用了稀疏 MoE 架构，即每次前向传播只激活少数几个专家74% 相似待验证Switch Transformer和Mixtral系列广泛采用了MoE架构73% 相似已验证Qwen 3.5架构使用改进的Transformer变体，融合了分组查询注意力（GQA）和旋转位置编码（RoPE）等技术69% 相似待验证MoE架构的典型代表包括Mixtral 8x7B和DeepSeek-V265% 相似待验证Qwen（通义千问）由阿里云开发，基于Transformer Decoder架构65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/848675API
curl https://kongchang.com/api/v1/knowledge/claims/848675MCP
get_claim(id=848675)