概念TTFT / Time to First Token
首字延迟
大模型推理性能指标,指用户发出请求到模型输出第一个Token的时间,反映预填充阶段效率
核心事实
时间轴 (近 90 天)
10月29日
听写功能要求流式识别:音频以数十毫秒为窗口持续送入模型,边识别边输出,对首字延迟和断句稳定性要求极高。
待验证50%
10月14日
预填充的浮点运算量随输入长度近似平方级增长,因此是 TTFT(首 Token 延迟)的主要来源。
已验证65%
9月16日
评估本地模型速度的两个常见指标是首字延迟(TTFT)和生成速度(tokens/s)
待验证50%
9月12日
首次音频时间(TTFA)指从文本输入到第一帧可播放音频输出所经历的时间,是衡量流式TTS系统响应速度的核心指标
已验证75%