待验证60% 置信事实精确时间
Google 的 Switch Transformer 于 2021 年证明在 Transformer 中每层仅将 Token 路由给单个专家（Top-1 路由）即可实现稳定训练，并将预训练速度相比同等规模稠密模型提升 7 倍以上
2
来源数
60%
置信度
长期有效
时效性
2026/7/17
首次发现
来源
相关事实
待验证Transformer支持并行训练，是相对RNN/LSTM的重要突破，代表性模型为Google的BERT78% 相似待验证2017年Google提出的Transformer架构替代了此前的RNN/LSTM序列模型，其并行计算特性使训练规模得以指数级扩展73% 相似待验证Transformers与DeepSpeed、Accelerate等分布式训练工具无缝集成71% 相似待验证在非隐私训练中，μP 已被证明可以在 Transformer 上实现从窄到宽的零样本学习率迁移。71% 相似待验证Transformer由Vaswani等人于2017年提出，其注意力机制与前馈网络组合使其在大规模预训练上取得革命性成功70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/537821API
curl https://kongchang.com/api/v1/knowledge/claims/537821MCP
get_claim(id=537821)