[控场AI]
模型GShard

GShard

Google提出的基于MoE架构的大规模分布式训练模型，利用专家分片与自动分片技术实现超大规模参数的高效训练

核心事实

MoE（混合专家）是一种神经网络架构，将大的前馈网络拆分为多个并行的专家子网络，通过路由器根据输入动态选择激活少数几个专家，从而解耦总参数量和激活参数。

已验证65% 置信3 来源

时间轴 (近 90 天)

10月15日

MoE 稀疏激活思路最早在自然语言处理中由 Switch Transformer、GShard 等验证。

待验证50%
10月15日

MoE（混合专家）是一种神经网络架构，将大的前馈网络拆分为多个并行的专家子网络，通过路由器根据输入动态选择激活少数几个专家，从而解耦总参数量和激活参数。

已验证65%
10月8日

熵正则化技术在MoE领域已有广泛应用，如GShard、Switch Transformer中的负载均衡损失

待验证50%
9月3日

谷歌在MoE领域有深厚研究积累，从Switch Transformer到GShard再到Gemini系列

待验证50%
8月25日

2020年的GShard论文提出了辅助损失函数来惩罚不均衡的路由分配

待验证50%

全部知识事实 (5)

已验证

MoE（混合专家）是一种神经网络架构，将大的前馈网络拆分为多个并行的专家子网络，通过路由器根据输入动态选择激活少数几个专家，从而解耦总参数量和激活参数。

65%待验证

MoE 稀疏激活思路最早在自然语言处理中由 Switch Transformer、GShard 等验证。

50%待验证

熵正则化技术在MoE领域已有广泛应用，如GShard、Switch Transformer中的负载均衡损失

50%待验证

谷歌在MoE领域有深厚研究积累，从Switch Transformer到GShard再到Gemini系列

50%待验证

2020年的GShard论文提出了辅助损失函数来惩罚不均衡的路由分配

50%

来源文章

一份值得关注的AI文档：内容与启示10月18日