概念Cascade
级联策略
一种LLM生产系统中的成本优化策略，采用顺序执行方式，请求先由小模型处理，若验证器判定结果不可靠则升级到更强模型重试，通过减少大模型调用来摊薄成本
核心事实
时间轴 (近 90 天)
10月12日
在承诺90%准确率时，带验证器的级联策略仅需始终使用大模型花费的28%。
待验证50%
10月12日
级联是一种顺序执行策略，请求先进入低成本模型，若其置信度或验证器判定结果不可靠，则将同一请求升级到更强的模型重试。
已验证75%
一种LLM生产系统中的成本优化策略，采用顺序执行方式，请求先由小模型处理，若验证器判定结果不可靠则升级到更强模型重试，通过减少大模型调用来摊薄成本
在承诺90%准确率时，带验证器的级联策略仅需始终使用大模型花费的28%。
级联是一种顺序执行策略，请求先进入低成本模型，若其置信度或验证器判定结果不可靠，则将同一请求升级到更强的模型重试。