SLO
SLO（服务级别目标）是SRE体系中对服务可靠性的量化承诺指标，如「99.9%的请求在200ms内成功返回」，配合错误预算使用，是衡量和管理服务可靠性的核心机制
核心事实
时间轴 (近 90 天)
对于按需GPU云，管理通道的可用性直接关系到用户能否止损，更合理的做法是将控制平面API纳入独立的SLO指标，并明确故障期间的计费豁免或补偿规则。
“elevated errors”指错误率显著高于正常基线但尚未达到全面中断，通常对应SLO违规，表现为间歇性故障。
Goodput指标衡量单位时间内满足SLO（如TTFT与ITL）的有效请求量或有效token量，能反映生产环境真正付费购买的经济效率
业界通常用SLO（Service Level Objective）和错误预算（Error Budget）来量化性能降级这类影响，例如以'99.9%的请求在500ms内返回'作为目标。
为 AI 功能设定可靠性目标的五步：每个功能只选一个质量 SLI、版本化 eval 集、从一周基线数据设定 SLO、给 AI 编写的 PR 打标签、明确失败阻断规则。
对 AI 系统而言，只把 SLO 挂在可用性上会导致模型质量下滑永远不会耗尽错误预算，从而不会触发刹车。
SLI 是实际测量值，SLO 是团队为测量值设定的内部目标，错误预算是 100% 减去 SLO 所允许的失败空间，三者构成闭环。
SLO（服务等级目标）与错误预算：成熟平台通常会为可用性设定量化目标，并以此驱动容量规划与故障演练
P99 延迟通常是评估生产系统真实体验的关键指标，Google SRE 体系称之为尾部容忍度，并建议在 SLO 中明确约定 P95 或 P99 延迟上限
现有P/D分离系统通常采用固定的prefill/decode worker比例，配合请求路由分配负载，在工作负载需求比例波动时会导致延迟SLO被违反
还有 13 条时间轴事件
全部知识事实 (20)
推理延迟通常分解为首token延迟（TTFT）和后续token生成吞吐量两个核心指标
75%已验证SRE（站点可靠性工程）是Google提出并推广的工程实践，核心思想是用软件工程方法解决运维问题，将系统可靠性量化为SLO并持续度量
65%已验证SLI是衡量服务健康度的具体指标，SLO是团队内部设定的目标值，SLA是对外的商业承诺违反时需承担经济赔偿
65%待验证对于按需GPU云，管理通道的可用性直接关系到用户能否止损，更合理的做法是将控制平面API纳入独立的SLO指标，并明确故障期间的计费豁免或补偿规则。
50%待验证“elevated errors”指错误率显著高于正常基线但尚未达到全面中断，通常对应SLO违规，表现为间歇性故障。
50%待验证Goodput指标衡量单位时间内满足SLO（如TTFT与ITL）的有效请求量或有效token量，能反映生产环境真正付费购买的经济效率
50%待验证业界通常用SLO（Service Level Objective）和错误预算（Error Budget）来量化性能降级这类影响，例如以'99.9%的请求在500ms内返回'作为目标。
50%待验证为 AI 功能设定可靠性目标的五步：每个功能只选一个质量 SLI、版本化 eval 集、从一周基线数据设定 SLO、给 AI 编写的 PR 打标签、明确失败阻断规则。
50%待验证对 AI 系统而言，只把 SLO 挂在可用性上会导致模型质量下滑永远不会耗尽错误预算，从而不会触发刹车。
50%待验证SLI 是实际测量值，SLO 是团队为测量值设定的内部目标，错误预算是 100% 减去 SLO 所允许的失败空间，三者构成闭环。
50%待验证SLO（服务等级目标）与错误预算：成熟平台通常会为可用性设定量化目标，并以此驱动容量规划与故障演练
50%待验证P99 延迟通常是评估生产系统真实体验的关键指标，Google SRE 体系称之为尾部容忍度，并建议在 SLO 中明确约定 P95 或 P99 延迟上限
50%待验证现有P/D分离系统通常采用固定的prefill/decode worker比例，配合请求路由分配负载，在工作负载需求比例波动时会导致延迟SLO被违反
50%待验证SLO无法通过行政程序一次性取得，需要通过持续透明的信息披露、社区参与和对本地关切的回应来不断维护
50%待验证亚马逊放弃保密协议的举措本质上是对SLO缺失风险的主动管理
50%待验证基准测试的核心任务是找到在满足SLO约束条件下的最大可持续吞吐，而非系统的绝对峰值吞吐
50%待验证服务水平目标（SLO）是对服务质量的量化承诺，在LLM推理场景中通常同时包含延迟和可用性两个维度
50%待验证goodput（有效吞吐）指在满足SLO约束条件下成功完成的请求比例或吞吐量，会将超出延迟预算的请求视为失败而不计入有效输出
50%待验证Agent Reliability引入了SLO与error-budget语义，并提供可在测试/CI中使用的SLO断言
50%待验证NVIDIA建议采用自上而下的容量规划思路：明确SLO、基准测试、计算GPU总量
50%