待验证50% 置信事实精确时间
Switch Transformer将每个Token的专家选择简化为Top-1，并引入辅助损失函数防止Token涌向少数热门专家
1
来源数
50%
置信度
长期有效
时效性
2026/8/27
首次发现
来源
涉及实体
相关事实
待验证Switch Transformer的原始论文中论述了引入辅助损失函数来强制均匀分配专家的设计80% 相似待验证残差连接是 Transformer 的核心创新之一，每一层的输出是输入加上该层的变换结果70% 相似待验证Decision Transformer等Transformer架构的引入为处理超长时序依赖提供了新工具66% 相似待验证Transformer通过Self-Attention机制计算输入序列中所有Token之间的相关性权重，放弃状态延续换取并行训练能力和水平扩展性64% 相似待验证DETR将Transformer引入目标检测，Swin Transformer通过层次化设计提高了效率，Segment Anything Model（SAM）展示了Transformer在分割任务中的泛化能力63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/810406API
curl https://kongchang.com/api/v1/knowledge/claims/810406MCP
get_claim(id=810406)