待验证50% 置信权衡取舍精确时间

高聚合吞吐往往以更大的批次为代价，而大批次会推高单请求的首 token 延迟（TTFT）

1

来源数

50%

置信度

长期有效

时效性

2026/9/24

首次发现

来源

Nori LLM 突破每秒百万Token：推理引擎的性能极限

涉及实体

相关事实

待验证追求极致吞吐往往以牺牲单请求延迟为代价，吞吐量与延迟指标相互制约75% 相似待验证通过增大batch size提升吞吐通常会牺牲单请求延迟71% 相似已验证超长上下文窗口的KV缓存显存占用随上下文长度线性增长，导致推理延迟和成本显著上升70% 相似待验证现代大模型推理通常采用批处理技术提高GPU利用率，高峰期批处理队列积压会导致首个Token等待时间（TTFT）变长68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/947009

API

curl https://kongchang.com/api/v1/knowledge/claims/947009

MCP

get_claim(id=947009)