分层路由
一种将不同复杂度的请求动态分配给不同规格LLM的调度策略，通过轻量分类器或级联方式在保证整体质量的同时大幅降低推理成本。
时间轴 (近 90 天)
当工具数量超过十个时，考虑做分层路由——先让智能体选择工具类别，再在类别内选择具体工具，避免它在长列表中迷失。
Kumar 反对一刀切换模型，建议采用分层路由：DeepSeek 承接 85–90% 的常规流量（分类、草稿、检索问答、格式化），前沿模型处理剩余 10–15% 的复杂任务（模糊投诉、多步推理、低置信度）。
分层路由节省了集成税（统一API密钥、基础URL、计费关系），但增加了路由税（分类器约2毫秒延迟及计算开销）。
分层路由（tiered routing）常见实现形式包括基于规则的长度/困惑度阈值、用小型分类器预测查询复杂度得分、以及级联式路由（弱模型先尝试后判断是否升级）
分层路由（tiered routing）是指用便宜模型处理简单高频的初筛，把复杂或高风险的变更升级给更强的模型
一个准确率略低但便宜五倍的模型，在每美元有效发现指标上可能反而胜出，前提是用分层路由兜住高风险场景
全部知识事实 (6)
当工具数量超过十个时，考虑做分层路由——先让智能体选择工具类别，再在类别内选择具体工具，避免它在长列表中迷失。
50%待验证Kumar 反对一刀切换模型，建议采用分层路由：DeepSeek 承接 85–90% 的常规流量（分类、草稿、检索问答、格式化），前沿模型处理剩余 10–15% 的复杂任务（模糊投诉、多步推理、低置信度）。
50%待验证分层路由节省了集成税（统一API密钥、基础URL、计费关系），但增加了路由税（分类器约2毫秒延迟及计算开销）。
50%待验证分层路由（tiered routing）常见实现形式包括基于规则的长度/困惑度阈值、用小型分类器预测查询复杂度得分、以及级联式路由（弱模型先尝试后判断是否升级）
50%待验证分层路由（tiered routing）是指用便宜模型处理简单高频的初筛，把复杂或高风险的变更升级给更强的模型
50%待验证一个准确率略低但便宜五倍的模型，在每美元有效发现指标上可能反而胜出，前提是用分层路由兜住高风险场景
50%