吞吐量
单位时间内系统能完成的请求数或生成的 token 数，通常以 tokens/s 或 requests/s 计量，可通过批处理、KV cache 复用、量化、投机解码等手段提升。
时间轴 (近 90 天)
吞吐量指单位时间内系统处理的 token 数或请求数。
如果业务以吞吐和成本为核心指标，vLLM 生态的成熟度和模型覆盖面仍然是更稳妥的选择。
单流 decode 速度数字不能等同于多并发请求下的吞吐量。
为实现确定性推理可能需要牺牲30%以上的吞吐量，这一trade-off在多数生产场景下不划算。
吞吐量指在单位时间内模型能处理的请求数量。
评估推理引擎时吞吐量和延迟必须区分：吞吐量通常指单位时间内全系统生成的 token 总数，延迟则关注单个请求的响应速度，分为首 token 延迟和每 token 生成间隔；更大的批处理能提升吞吐量，却可能拉高单个请求的延迟。
作者建议用基于历史实绩的真实交付数据代替对未来的主观估算来做预测
吞吐量通常以每秒生成的词元数（tokens/s）衡量，决定系统能同时服务多少并发请求
追求极致吞吐往往以牺牲单请求延迟为代价，吞吐量与延迟指标相互制约
当并发量上升时，单个请求可能变慢，但整体系统吞吐反而更高
还有 2 条时间轴事件
全部知识事实 (12)
吞吐量指单位时间内系统处理的 token 数或请求数。
50%待验证如果业务以吞吐和成本为核心指标，vLLM 生态的成熟度和模型覆盖面仍然是更稳妥的选择。
50%待验证单流 decode 速度数字不能等同于多并发请求下的吞吐量。
50%待验证为实现确定性推理可能需要牺牲30%以上的吞吐量，这一trade-off在多数生产场景下不划算。
50%待验证吞吐量指在单位时间内模型能处理的请求数量。
50%待验证评估推理引擎时吞吐量和延迟必须区分：吞吐量通常指单位时间内全系统生成的 token 总数，延迟则关注单个请求的响应速度，分为首 token 延迟和每 token 生成间隔；更大的批处理能提升吞吐量，却可能拉高单个请求的延迟。
50%待验证作者建议用基于历史实绩的真实交付数据代替对未来的主观估算来做预测
50%待验证吞吐量通常以每秒生成的词元数（tokens/s）衡量，决定系统能同时服务多少并发请求
50%待验证追求极致吞吐往往以牺牲单请求延迟为代价，吞吐量与延迟指标相互制约
50%待验证当并发量上升时，单个请求可能变慢，但整体系统吞吐反而更高
50%待验证在芯片架构设计中，吞吐量与延迟通常是一对需要权衡的指标
50%待验证在实际生产环境中，服务商更关注总体吞吐量（每秒服务的用户数），单流速度与高并发下的整体效率是两个不同的评估维度
50%