概念Inference Latency
推理延迟
模型从接收输入到生成输出所需的时间指标，受模型参数量、生成长度、硬件算力等因素影响，是衡量AI系统响应速度的关键性能指标
时间轴 (近 90 天)
10月28日
推理延迟的常见优化手段包括量化、剪枝、算子融合和推理引擎替换。
待验证50%
10月20日
推理延迟是衡量机器人策略能否实时运行的关键指标，通常以从传感器输入到动作输出之间的毫秒数来计算。
待验证50%
10月15日
推理延迟指从提交提示词到模型返回完整图像所经历的时间，是衡量图像模型实用性的核心工程指标之一。
待验证50%
10月12日
可行执行视界集合为 L* ∈ [τ, d_max − τ]，其中 τ 是推理延迟，d_max 是滚动时域或安全包络的上限。
待验证50%
9月29日
除token费用外，推理延迟、并发限制和API限速（Rate Limit）也会成为瓶颈，影响系统可用性
待验证60%
全部知识事实 (6)
待验证
除token费用外，推理延迟、并发限制和API限速（Rate Limit）也会成为瓶颈，影响系统可用性
60%待验证推理延迟的常见优化手段包括量化、剪枝、算子融合和推理引擎替换。
50%待验证推理延迟是衡量机器人策略能否实时运行的关键指标，通常以从传感器输入到动作输出之间的毫秒数来计算。
50%待验证推理延迟指从提交提示词到模型返回完整图像所经历的时间，是衡量图像模型实用性的核心工程指标之一。
50%待验证可行执行视界集合为 L* ∈ [τ, d_max − τ]，其中 τ 是推理延迟，d_max 是滚动时域或安全包络的上限。
50%待验证打击类动作对延迟最为敏感，10ms 即可被察觉；而连续控制类动作的容忍度可达 100ms 以上
50%