待验证50% 置信事实精确时间

在MoE架构中门控激活调用次数随专家数量线性增长，使得SwiGLU/SiLU计算占比远高于稠密模型

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

多项式逼近加速LLM超越函数：GB200上提速最高8%

涉及实体

MoEconcept SwiGLUconcept

相关事实

待验证MoE架构每次仅路由激活少量专家（通常为2-8个），可用较低计算量运行远超同等算力密集模型的总参数规模70% 相似待验证MoE稀疏架构每次前向传播只激活全部专家中的一小部分，在不成比例增加计算量的前提下大幅扩大模型参数量69% 相似待验证显存容量往往比纯算力更能决定能加载多大的模型69% 相似已验证MoE模型虽然推理快，但对显存和内存的容量要求更高，因为需要加载全部专家参数，存在速度与容量的权衡68% 相似待验证HSTU采用线性复杂度的注意力变体，使其处理长度超过数千的行为序列时计算量不会出现平方级增长66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/971823

API

curl https://kongchang.com/api/v1/knowledge/claims/971823

MCP

get_claim(id=971823)