待验证70% 置信事实精确时间

在Transformer架构中，每生成一个token的计算量与激活参数量近似成正比，稠密模型激活参数量等于总参数量，MoE模型激活参数量远小于总参数量

2

来源数

70%

置信度

长期有效

时效性

2026/8/26

首次发现

来源

Mythos Preview参数规模分析：10万亿参数与Scaling Law的验证

涉及实体

Transformerconcept Mixture of Expertsconcept

相关事实

待验证Transformer架构中模型参数量与推理延迟之间呈近似线性关系79% 相似待验证以Transformer架构为基础的语言模型，其推理计算量与参数规模大致呈正比，参数越多单次推理所需的FLOPs越高78% 相似已验证主流生成式大模型基于Transformer架构，输出时存在概率选择机制，同一问题可能产生不同回答78% 相似待验证在Transformer自回归推理模式下，输出Token数量与计算开销之间存在超线性关系75% 相似待验证在Transformer架构中，对于拥有N个参数的模型，生成每个token大约需要2N次浮点运算75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/802774

API

curl https://kongchang.com/api/v1/knowledge/claims/802774

MCP

get_claim(id=802774)