重试机制
生产系统中对失败操作进行自动重新执行的机制,用于应对网络波动、API限流、临时故障等,通常配合退避策略与幂等设计避免重复副作用。
核心事实
时间轴 (近 90 天)
重试只适用于幂等请求或可安全重复的操作,对有副作用的调用应配合幂等键使用。
三层防护的优先级为:能在同一模型内重试解决的不换模型,只有重试耗尽才进入回退环节。
重试期间的消息可能重复发送,涉及计费的场景下需留意幂等或请求去重问题。
一次用户操作在LLM应用中可能扇出为多次调用,包括验证失败重试、超时重试、Agent工具调用后的再次尝试等,总计可达八次甚至更多。
单步可重试的前提是该步骤具备幂等性,即用相同输入重复执行不会产生副作用累积。
只要缺字段、两次运行结果一致、或者判定依据被同一个补丁改动过,跳过请求就会被拒绝
重试机制在模型返回超时或错误时自动重发请求,每次重试都会消耗token
重试逻辑需要配合退避与熔断机制,盲目重试在故障场景下会成倍放大压力
在多层调用链中,重试的放大效应逐层叠加,导致底层服务承受的压力呈指数级增长
配置最多3次重试的服务在下游返回错误时,实际到达下游的请求量可能瞬间放大到正常水平的3到4倍
还有 1 条时间轴事件
全部知识事实 (12)
校验失败时应将具体错误反馈给模型让其修正,但重试必须设置次数、超时时间和成本控制,因为重试会增加延迟和资源消耗
65%待验证重试只适用于幂等请求或可安全重复的操作,对有副作用的调用应配合幂等键使用。
50%待验证三层防护的优先级为:能在同一模型内重试解决的不换模型,只有重试耗尽才进入回退环节。
50%待验证重试期间的消息可能重复发送,涉及计费的场景下需留意幂等或请求去重问题。
50%待验证一次用户操作在LLM应用中可能扇出为多次调用,包括验证失败重试、超时重试、Agent工具调用后的再次尝试等,总计可达八次甚至更多。
50%待验证单步可重试的前提是该步骤具备幂等性,即用相同输入重复执行不会产生副作用累积。
50%待验证只要缺字段、两次运行结果一致、或者判定依据被同一个补丁改动过,跳过请求就会被拒绝
50%待验证重试机制在模型返回超时或错误时自动重发请求,每次重试都会消耗token
50%待验证重试逻辑需要配合退避与熔断机制,盲目重试在故障场景下会成倍放大压力
50%待验证配置最多3次重试的服务在下游返回错误时,实际到达下游的请求量可能瞬间放大到正常水平的3到4倍
50%待验证在多层调用链中,重试的放大效应逐层叠加,导致底层服务承受的压力呈指数级增长
50%待验证合理的重试处理需要区分可重试的临时故障与不应重复的逻辑错误,否则盲目重试可能放大问题
50%