待验证50% 置信事实精确时间
输入Token可以在prefill阶段并行处理,而输出Token必须在decode阶段逐个串行生成
1
来源数
50%
置信度
长期有效
时效性
2026/8/24
首次发现
来源
涉及实体
相关事实
待验证输出Token定价高于输入Token是因为Prefill阶段可并行矩阵运算而Decode阶段必须串行自回归解码,Decode阶段GPU吞吐量约为Prefill阶段的1/6到1/1077% 相似待验证Decode 阶段属于访存密集型操作,每生成一个新 token 需从显存读取全部历史 token 的 KV Cache75% 相似待验证自回归解码具有串行特性,每个Token的生成依赖前一个Token,难以并行74% 相似待验证受限解码(Constrained Decoding)在自回归生成的每个Token步骤上,根据有限状态机或上下文无关文法计算合法Token集合并重新归一化概率,从数学上保证输出符合目标schema73% 相似待验证自回归生成每个Token都需要完整的前向传播,而输入只需一次编码,这是输出比输入贵的成本结构原因71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/796472API
curl https://kongchang.com/api/v1/knowledge/claims/796472MCP
get_claim(id=796472)