[控场AI]
概念TTFT / Time to First Token

首字延迟

大模型推理性能指标,指用户发出请求到模型输出第一个Token的时间,反映预填充阶段效率

核心事实

时间轴 (近 90 天)

10月29日

听写功能要求流式识别:音频以数十毫秒为窗口持续送入模型,边识别边输出,对首字延迟和断句稳定性要求极高。

待验证50%
10月14日

预填充的浮点运算量随输入长度近似平方级增长,因此是 TTFT(首 Token 延迟)的主要来源。

已验证65%
9月16日

评估本地模型速度的两个常见指标是首字延迟(TTFT)和生成速度(tokens/s)

待验证50%
9月12日

首次音频时间(TTFA)指从文本输入到第一帧可播放音频输出所经历的时间,是衡量流式TTS系统响应速度的核心指标

已验证75%

全部知识事实 (4)

来源文章