MoE（混合专家）是一种神经网络架构，将大的前馈网络拆分为多个并行的专家子网络，通过路由器根据输入动态选择激活少数几个专家，从而解耦总参数量和激活参数。