[控场AI]
概念

端到端延迟

语音智能体核心性能指标,指从用户说完最后一个字到智能体第一段语音开始播放之间的时间,由STT、LLM首Token、TTS首包及网络开销四级串联构成

核心事实

时间轴 (近 90 天)

11月3日

云游戏场景下的端到端延迟通常由手柄到本地设备的传输时间、本地设备的处理与编码时间、网络往返时延(RTT)、云端渲染与编码时间、以及视频流解码和显示时间组成。

待验证50%
10月29日

端到端延迟通常由采集、网络传输、ASR、LLM首token时间、TTS首包时间共同累加。

待验证50%
10月15日

首字节延迟(TTFB)指从发送文本到收到第一个音频字节的时间;端到端延迟包括音频捕获、ASR 转写、意图处理、TTS 合成和播放缓冲的全部耗时。

待验证50%
10月14日

当单个工具调用本身就是瓶颈(max(tᵢ) 很大)时,继续提高并发数对总延迟几乎无改善,只会增加资源压力。

待验证50%
10月14日

假设一个回合内有 N 个相互独立的工具调用,每次耗时分别为 t₁…t_N,串行执行的总耗时约为 Σtᵢ。

待验证50%
10月14日

并发执行(并发数 ≥ N)时,N 个独立工具调用的总耗时约为 max(tᵢ)。

待验证50%
10月8日

预约对话场景期望将从用户说完到Agent开始回应的端到端延迟控制在数百毫秒内

待验证50%
9月12日

首次音频时间(TTFA)指从文本输入到第一帧可播放音频输出所经历的时间,是衡量流式TTS系统响应速度的核心指标

已验证75%

全部知识事实 (8)

来源文章