待验证50% 置信事实精确时间

MoE模型的计算速度接近同激活量的稠密模型，但显存占用会随总参数量线性上升。

1

来源数

50%

置信度

长期有效

时效性

2026/10/15

首次发现

来源

微软发布137B MoE代码模型，激活仅6.8B参数

涉及实体

混合专家架构（MoE）concept

相关事实

已验证MoE 模型微调时通常需要加载全部参数及对应的优化器状态，对硬件资源的要求远超同等激活参数量的密集模型79% 相似待验证MoE模型在推理延迟和计算成本上往往优于同参数规模的Dense模型，但代价是需要更大显存加载全部专家权重74% 相似已验证MoE（混合专家模型）通过动态路由让不同参数子网络处理不同类型输入，大幅提升模型容量而不线性增加推理成本73% 相似已验证在MoE模型中总参数量主要决定内存占用，每token激活参数量主要决定速度和成本72% 相似待验证MoE通过Top-K路由策略每次前向传播仅激活K个专家（通常为2-4个），实现稀疏激活以扩大模型容量而不线性增加计算量71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1034180

API

curl https://kongchang.com/api/v1/knowledge/claims/1034180

MCP

get_claim(id=1034180)