概念Inter-Token Latency / token间延迟
ITL
衡量LLM服务用户体验的关键指标，指连续两个输出token之间的时间间隔，主要由decode阶段决定，受内存带宽、batch size和KV cache读取量影响。
时间轴 (近 90 天)
10月19日
Decode阶段是访存带宽密集型的，每步需从HBM重新加载模型权重和KV cache，决定inter-token延迟（ITL）
待验证50%
10月19日
当预填充和解码跑在同一个引擎上时，一个长Prompt中途到达会导致解码批次中每个序列经历一次ITL尖峰，尖峰时长大致等于该预填充步骤的耗时。
待验证50%
9月18日
token间延迟（ITL）是生成过程中相邻token之间的时间间隔，决定文本流式输出的流畅度
待验证50%
9月15日
确定性执行架构使首Token延迟（TTFT）和Token间延迟（ITL）的方差极小，可对外提供类似SLA的延迟承诺
待验证50%
9月15日
TTFT决定用户从发出请求到看到第一个字的等待时间，ITL决定后续内容的生成节奏
待验证50%
全部知识事实 (5)
待验证
Decode阶段是访存带宽密集型的，每步需从HBM重新加载模型权重和KV cache，决定inter-token延迟（ITL）
50%待验证当预填充和解码跑在同一个引擎上时，一个长Prompt中途到达会导致解码批次中每个序列经历一次ITL尖峰，尖峰时长大致等于该预填充步骤的耗时。
50%待验证token间延迟（ITL）是生成过程中相邻token之间的时间间隔，决定文本流式输出的流畅度
50%待验证确定性执行架构使首Token延迟（TTFT）和Token间延迟（ITL）的方差极小，可对外提供类似SLA的延迟承诺
50%待验证TTFT决定用户从发出请求到看到第一个字的等待时间，ITL决定后续内容的生成节奏
50%