已验证65% 置信事实时间未知
Meta的LLaMA系列、Google的Gemma、Mistral AI的Mistral/Mixtral、阿里的Qwen系列都在Transformers中获得支持
3
来源数
65%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
Hugging Face Transformers：16万Star背后的技术架构与实战指南
githubhuggingface
涉及实体
相关事实
待验证Google 的 Switch Transformer（2021）和 Mistral 的 Mixtral 8x7B（2023）都采用了稀疏 MoE 架构，即每次前向传播只激活少数几个专家67% 相似待验证Google的Switch Transformer和Mixtral 8x7B是MoE架构的经典代表，Qwen3、DeepSeek-V3等也采用了该架构65% 相似待验证Switch Transformer和Mixtral系列广泛采用了MoE架构63% 相似待验证Qwen系列自2023年首次发布以来已迭代多个版本，采用Transformer decoder-only架构60% 相似已验证Qwen（通义千问）由阿里云开发，基于Transformer Decoder架构60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/32162API
curl https://kongchang.com/api/v1/knowledge/claims/32162MCP
get_claim(id=32162)