TTFT
大语言模型推理中衡量用户体验的核心指标，指从提交请求到看到第一个输出字符的等待时长，主要受prefill预填充阶段决定
核心事实
时间轴 (近 90 天)
CACPU优化的是预填充阶段，其收益主要体现在TTFT上，而对逐Token的解码吞吐影响有限。
TokenGate使LLM预填充阶段的时间到首token（TTFT）缩短最多11.3倍。
在网关场景下，TTFT 由网关到后端的网络往返、后端模型的排队与预填充时间、以及网关自身的处理开销（鉴权、路由、护栏检查）三段构成。
TTFT（首 Token 等待时间）主要由预填充阶段决定，计算量与上下文长度近似成正比；前缀缓存（prefix caching）可复用已算好的 KV 状态，仅对新增部分做预填充。
TTFT 受输入长度、并发度和供应商排队策略影响很大，跨供应商比较时应在相同 prompt 长度和并发条件下测量。
PD分离中KV传输开销约占TTFT的3%到4%，且随prompt变长相对占比下降
多轮Agent工作负载每轮都要重新处理不断增长的对话上下文，导致首Token延迟（TTFT）居高不下。
原团队的四节点混合 GPU 集群吞吐量在 36 小时内衰减约 18%，而 GPU 利用率保持平稳；原因被诊断为 KV 块碎片化导致 RSS 单调上升且 TTFT p95 漂移。
在最近一次浸泡测试中，通过 B-Lost 中继（https://b-lost.com/v1）走回退路径使 TTFT p50 降低了 35 ms，且其 p50 在整个运行期间保持在 35 ms 带宽内，而本地节点则向上漂移。
区分 KV 池增长与调度抢占的方法是同时测量跨轮次 RSS 斜率和 TTFT p95：RSS 单调上升且 p95 跟随意味着 KV 池增长，p95 上升而 RSS 平坦意味着放置或抢占问题。
还有 40 条时间轴事件
全部知识事实 (20)
首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于 prefill 阶段耗时
90%已验证TPS的测量通常分为两个阶段：首Token延迟（TTFT）和后续Token的生成速率（Throughput）
85%已验证P/D 分离（Prefill/Decode Disaggregation）将 Prefill 和 Decode 两阶段部署在不同节点，以针对各自计算特性独立扩容，同时优化吞吐量和首 token 延迟（TTFT）
75%已验证TPS（Tokens Per Second）是衡量大语言模型推理速度的核心指标，特指模型在生成阶段每秒输出的 token 数量
75%已验证推理延迟通常分解为首token延迟（TTFT）和后续token生成吞吐量两个核心指标
75%已验证数字人场景中WebRTC端到端延迟通常需要控制在500毫秒以内才能保证自然流畅的交互体验
75%已验证预填充的浮点运算量随输入长度近似平方级增长，因此是 TTFT（首 Token 延迟）的主要来源。
65%已验证大模型推理分为Prefill和Decode两个阶段，Prefill是首Token延迟(TTFT)的重要组成部分，Decode对应每Token生成时间(TPOT)
65%已验证首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于模型对输入 prompt 的预填充（prefill）阶段耗时
65%已验证TTFT由Prefill阶段决定受算力约束，TPOT对应Decode阶段受内存带宽约束
65%已验证LLM推理的prefill阶段并行处理输入所有token并生成初始KV Cache，是计算密集型操作，是TTFT的直接决定因素
65%待验证传统混合部署中Prefill阶段的大批量计算会阻塞Decode阶段的token生成，导致TTFT波动剧烈
85%待验证PD分离架构通过物理隔离消除Prefill对Decode的干扰，显著改善TTFT的P99延迟
85%待验证首字节响应时间（TTFB）反映从请求发出到模型返回第一个token之间的延迟，涵盖网络传输、请求队列等待和模型预热时间
60%待验证当前主流大模型在处理复杂代码任务时，首token延迟（TTFT）往往在2-8秒之间
60%待验证CACPU优化的是预填充阶段，其收益主要体现在TTFT上，而对逐Token的解码吞吐影响有限。
50%待验证TokenGate使LLM预填充阶段的时间到首token（TTFT）缩短最多11.3倍。
50%待验证在网关场景下，TTFT 由网关到后端的网络往返、后端模型的排队与预填充时间、以及网关自身的处理开销（鉴权、路由、护栏检查）三段构成。
50%待验证TTFT（首 Token 等待时间）主要由预填充阶段决定，计算量与上下文长度近似成正比；前缀缓存（prefix caching）可复用已算好的 KV 状态，仅对新增部分做预填充。
50%待验证TTFT 受输入长度、并发度和供应商排队策略影响很大，跨供应商比较时应在相同 prompt 长度和并发条件下测量。
50%