待验证50% 置信事实精确时间
交叉编码器的计算量大致随输入 token 数增长，因此控制上下文范围（如截断过长片段或减少候选数量）可降低推理延迟和算力消耗。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
涉及实体
相关事实
待验证提示词缓存（prompt caching）可对重复出现的长上下文复用计算结果，显著降低重复计费。76% 相似待验证投机解码主要改善吞吐和每 token 成本，对首 token 延迟的改善有限，甚至可能因草稿阶段而略微增加。76% 相似待验证投机解码类特性最直接的收益是降低推理延迟、提升吞吐量，在对话式应用、代码生成等场景下能带来数倍的token生成速率提升75% 相似待验证上下文越长，KV缓存越大，低秩近似的误差累积越明显，逐分区拟合容易在跨卡聚合时放大偏差。74% 相似已验证在推理流程中，Prefill 阶段计算密集且耗时较长，Decode 阶段逐 token 自回归生成且对延迟敏感74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1132481API
curl https://kongchang.com/api/v1/knowledge/claims/1132481MCP
get_claim(id=1132481)