待验证60% 置信事实精确时间
生成吞吐（tok/s）反映解码阶段效率，受 KV Cache 大小和显存带宽影响，对输入长度的敏感程度远低于预填充
2
来源数
60%
置信度
长期有效
时效性
2026/9/17
首次发现
来源
涉及实体
相关事实
待验证在多节点 prefill/decode 分离架构中，prefill 节点需将生成的 KV cache 通过高速网络传给 decode 节点，节点间通信是关键瓶颈，KV cache 传输效率直接决定分离架构能否兑现性能收益。79% 相似已验证KV缓存的大小随上下文长度线性增长，处理更长文本时显存消耗会显著增加77% 相似待验证大模型推理是显存带宽密集型任务，decode 阶段每生成一个 token 都要重新读取全部权重与 KV Cache，因此批处理规模越大，单位 token 的边际成本越低，但延迟也越高。76% 相似待验证压缩 KV Cache 的手段包括量化、低秩近似、按重要性淘汰旧 token 等，其直接效果是提升单位显存能承载的 token 数（容量），而非节省算力或传输。75% 相似待验证显存容量决定了参数量加上KV Cache后能否装进设备；显存带宽决定了解码阶段每个token生成时权重读取的速度，因而直接决定推理延迟。75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/930282API
curl https://kongchang.com/api/v1/knowledge/claims/930282MCP
get_claim(id=930282)