概念Load Balancing Loss / load-balancing loss
负载均衡损失
MoE训练中常用的正则化手段，通过在训练目标中增加惩罚项鼓励token在专家间均匀分布，以遏制路由崩溃
时间轴 (近 90 天)
10月16日
传统MoE负载均衡损失主要从训练稳定性出发，让专家使用更均匀。
待验证50%
10月15日
负载均衡损失最常见的形式是辅助损失（auxiliary loss），以Switch Transformer为代表，公式为L_balance = α · N · Σ(f_i · p_i)，其中N为专家数，α为损失系数。
待验证50%
10月15日
负载均衡损失的系数α通常取0.01左右，但具体值高度依赖模型规模和数据分布。
待验证50%
10月15日
负载均衡损失引入了一个与语言建模无关的约束，该约束与主任务目标之间存在张力，损失系数的调节需要经验。
待验证50%
9月9日
负载均衡损失使用所有专家选择频率的平方和L=ΣFi²，由柯西不等式可知当所有Fi=1/N时损失最小
待验证50%
全部知识事实 (5)
待验证
传统MoE负载均衡损失主要从训练稳定性出发，让专家使用更均匀。
50%待验证负载均衡损失最常见的形式是辅助损失（auxiliary loss），以Switch Transformer为代表，公式为L_balance = α · N · Σ(f_i · p_i)，其中N为专家数，α为损失系数。
50%待验证负载均衡损失的系数α通常取0.01左右，但具体值高度依赖模型规模和数据分布。
50%待验证负载均衡损失引入了一个与语言建模无关的约束，该约束与主任务目标之间存在张力，损失系数的调节需要经验。
50%待验证负载均衡损失使用所有专家选择频率的平方和L=ΣFi²，由柯西不等式可知当所有Fi=1/N时损失最小
50%