概念
路由冗余性
混合专家模型中不同专家在功能上存在可替代性的特性，导致许多 token 即使被路由到次优专家，输出分布变化也不大，是专家剪枝后无需重新训练即可保持质量的前提
时间轴 (近 90 天)
10月16日
MoE 的路由冗余性通常很高：不同专家在功能上存在相当程度的可替代性，许多 token 即使改派给次优专家，输出分布也变化不大。
待验证50%
混合专家模型中不同专家在功能上存在可替代性的特性，导致许多 token 即使被路由到次优专家，输出分布变化也不大，是专家剪枝后无需重新训练即可保持质量的前提
MoE 的路由冗余性通常很高：不同专家在功能上存在相当程度的可替代性，许多 token 即使改派给次优专家，输出分布也变化不大。