待验证50% 置信事实精确时间
Prompt Cache操作的是Prefill阶段的计算,砍掉重复的前缀计算,但无法省略Decode的生成
1
来源数
50%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证输入Token可以在prefill阶段并行处理,而输出Token必须在decode阶段逐个串行生成72% 相似待验证P/D 分离(Prefill/Decode Disaggregation)将 Prefill 和 Decode 两阶段部署在不同节点,以针对各自计算特性独立扩容,同时优化吞吐量和首 token 延迟(TTFT)72% 相似已验证Prefill阶段是计算密集型操作,Decode阶段是显存带宽密集型操作71% 相似待验证前缀缓存通过缓存常见的提示词前缀来减少重复计算,从而提升推理效率70% 相似待验证LLM 推理请求分为 Prefill(输入)和 Decode(输出)两个阶段,Prefill 可并行读取吞吐极高,Decode 需逐字串行推理占用 GPU 时间显著更长67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/908130API
curl https://kongchang.com/api/v1/knowledge/claims/908130MCP
get_claim(id=908130)