待验证50% 置信事实精确时间
对自回归语言模型而言，生成 k 个 token 需要 k 次串行前向，延迟随输出长度线性增长；而单次前向的决策模型输出长度固定，延迟基本与选项数量无关。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证自回归模型每次前向传播只能确定一个 token，推理无法在时间维度上并行，延迟随输出长度线性增长。73% 相似待验证LLM采用自回归方式生成文本，每次只生成一个Token，生成N个Token需要N次前向推理，延迟与输出长度呈线性关系73% 相似待验证大模型推理的自回归生成需要逐Token串行输出，生成N个Token需要N次前向传播72% 相似已验证推理模型的自回归生成过程严格串行，KV Cache显存占用随思考Token序列线性增长，内存带宽成为性能瓶颈72% 相似待验证如果没有KV Cache，模型每生成一个新Token都要重新计算前面所有内容，计算量随序列长度呈平方级增长70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1125169API
curl https://kongchang.com/api/v1/knowledge/claims/1125169MCP
get_claim(id=1125169)