共 1 篇相关文章
实测100个并发LLM调用:指数退避加±10%抖动仍失败64%,全抖动改善尾部但增加请求量,遵守Retry-After头与客户端限流器分别将耗时降至11.8秒和8.0秒。文章还揭露了llm-retry库的三个bug,并给出8条可落地的重试与熔断实践建议。