LLM推理性能指标,指从API请求发出到接收到第一个输出Token的时间间隔,反映模型预处理与调度开销,是衡量用户体验响应速度的关键度量之一。
首字节响应时间(TTFB)反映从请求发出到模型返回第一个token之间的延迟,涵盖网络传输、请求队列等待和模型预热时间