待验证90% 置信事实时间未知
对于MoE模型，路由层中两个专家得分极为接近时，微小数值差异可能翻转专家选择结果，导致分布式训练崩溃
1
来源数
90%
置信度
长期有效
时效性
2026/5/31
首次发现
来源
Cursor Composer 2分布式RL训练技术解析
bilibili全球播客频道
涉及实体
相关事实
待验证MoE训练时通常需引入辅助损失强制负载均衡，否则会形成少数Expert富者愈富的马太效应导致大多数Expert退化为死代码74% 相似待验证对齐训练优化的是模型在已知场景下的统计行为，而非建立可形式化验证的安全边界，面对训练分布之外的罕见指令组合或角色扮演框架时可能失效73% 相似待验证参数量相似的情况下，训练数据质量分布的差异往往比架构差异更能决定特定场景的表现上限73% 相似待验证行为克隆存在分布偏移（Distribution Shift）问题：训练时策略只接触专家轨迹覆盖的状态分布，部署时微小偏差累积会使实际访问的状态分布逐渐偏离训练分布72% 相似待验证专家负载不均衡是MoE最典型的训练难题，可能导致'专家崩溃'现象，通常引入辅助负载均衡损失或Token丢弃策略解决72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/6595API
curl https://kongchang.com/api/v1/knowledge/claims/6595MCP
get_claim(id=6595)