端到端延迟
语音智能体核心性能指标,指从用户说完最后一个字到智能体第一段语音开始播放之间的时间,由STT、LLM首Token、TTS首包及网络开销四级串联构成
核心事实
时间轴 (近 90 天)
云游戏场景下的端到端延迟通常由手柄到本地设备的传输时间、本地设备的处理与编码时间、网络往返时延(RTT)、云端渲染与编码时间、以及视频流解码和显示时间组成。
端到端延迟通常由采集、网络传输、ASR、LLM首token时间、TTS首包时间共同累加。
首字节延迟(TTFB)指从发送文本到收到第一个音频字节的时间;端到端延迟包括音频捕获、ASR 转写、意图处理、TTS 合成和播放缓冲的全部耗时。
当单个工具调用本身就是瓶颈(max(tᵢ) 很大)时,继续提高并发数对总延迟几乎无改善,只会增加资源压力。
假设一个回合内有 N 个相互独立的工具调用,每次耗时分别为 t₁…t_N,串行执行的总耗时约为 Σtᵢ。
并发执行(并发数 ≥ N)时,N 个独立工具调用的总耗时约为 max(tᵢ)。
预约对话场景期望将从用户说完到Agent开始回应的端到端延迟控制在数百毫秒内
首次音频时间(TTFA)指从文本输入到第一帧可播放音频输出所经历的时间,是衡量流式TTS系统响应速度的核心指标
全部知识事实 (8)
首次音频时间(TTFA)指从文本输入到第一帧可播放音频输出所经历的时间,是衡量流式TTS系统响应速度的核心指标
75%待验证云游戏场景下的端到端延迟通常由手柄到本地设备的传输时间、本地设备的处理与编码时间、网络往返时延(RTT)、云端渲染与编码时间、以及视频流解码和显示时间组成。
50%待验证端到端延迟通常由采集、网络传输、ASR、LLM首token时间、TTS首包时间共同累加。
50%待验证首字节延迟(TTFB)指从发送文本到收到第一个音频字节的时间;端到端延迟包括音频捕获、ASR 转写、意图处理、TTS 合成和播放缓冲的全部耗时。
50%待验证假设一个回合内有 N 个相互独立的工具调用,每次耗时分别为 t₁…t_N,串行执行的总耗时约为 Σtᵢ。
50%待验证并发执行(并发数 ≥ N)时,N 个独立工具调用的总耗时约为 max(tᵢ)。
50%待验证当单个工具调用本身就是瓶颈(max(tᵢ) 很大)时,继续提高并发数对总延迟几乎无改善,只会增加资源压力。
50%待验证预约对话场景期望将从用户说完到Agent开始回应的端到端延迟控制在数百毫秒内
50%