告别LLM解析噩梦：Decision 3.0如何做Agent路由

当Agent工作流越来越复杂时，一个关键问题浮出水面：节点之间该如何路由？传统做法是让LLM输出一段文本，再用正则或JSON解析器提取下一步。这种做法不仅脆弱，还常常因为模型自由发挥而出现无法解析的输出。最近，vLLM semantic router团队发布的Decision 3.0试图从根本上改变这一局面——据Reddit社区讨论，该模型已采用Apache 2.0协议开源，参数规模从不到1B到27B不等。

Decision 3.0的核心思路：不生成文本，只输出概率

Decision 3.0最反直觉的设计是它完全不生成文字。你传入当前状态和一组命名问题，模型会针对每个选项返回一个概率值。选项可以是多选一、是/否判断，或者一个分数。这种输出形态恰好对应了Agent框架中条件边的典型需求——比如在LangGraph中决定下一个节点是谁、当前工具调用是否需要人类介入、任务是否已经完成。

这种设计带来一个直接好处：模型不可能“跑题”。因为解决方案永远限定在你预设的标签集合内，路由环节不再需要解析LLM返回的散文式回答。对于长期被输出格式不稳定困扰的开发者来说，这几乎是一种解脱。

概率分类器与生成式模型的区别：Decision 3.0本质上是一个判别式分类器（discriminative classifier），而非生成式模型。生成式模型通过自回归方式逐token生成文本，输出空间是整个词表；判别式模型则直接对输入与每个候选标签的匹配程度建模，输出一个归一化的概率分布。这种架构差异决定了前者需要解析后处理，后者天然输出结构化结果。Decision 3.0将路由问题转化为"给定上下文，哪个标签最可能"的分类任务，从而绕开了生成式模型自由发挥的固有风险。

架构定位：路由层与生成层分离

Decision 3.0并不替代你已有的模型。它更像是路由决策层，而真正的执行分支仍然可以是前沿模型处理困难任务，廉价开源模型（如社区提到的ds flash或glm 5.3 flash）处理其余路径。这些下游模型可以通过官方API调用，也可以走按token计费的托管平台如Deepinfra。

有意思的是，最小的4B版本体积足够小，可以和图计算节点部署在同一张GPU上。这意味着路由决策可以做到极低延迟，不必每次路由都发起一次远程LLM调用。

LangGraph条件边：LangGraph是构建有状态Agent工作流的图框架，节点代表计算步骤，边代表流转方向。条件边（conditional edge）是一种动态路由机制，它接受当前状态并返回下一个节点的名称。传统实现中，条件边通常调用一个LLM并解析其文本输出来决定去向。Decision 3.0的概率输出可以直接映射为条件边的选择依据——取概率最高的标签作为下一节点，无需任何文本解析。这种对接方式使路由逻辑从"提示词工程"变为"分类阈值配置"，显著提升了可靠性。

可解释性缺失：概率高不等于决策对

Decision 3.0最大的短板在于无法解释选择理由。当路由出错时，你只能看到一组概率数值，没有任何推理过程可供排查。更棘手的是，高置信度分数也可能对应错误结果——有评测者提到，一张故意设计得模棱两可的工单，在“jev”选项上返回了1.00的概率。这意味着模型可以非常自信地做出错误判断。

这引出一个实践层面的共识：设置置信度阈值，低于阈值的请求转交给普通LLM处理。这被社区成员视为合理的默认策略——用概率模型处理明确情况，把模糊场景交给有推理能力的模型兜底。

置信度校准：概率模型的输出值是否可信，取决于其校准（calibration）质量。一个良好校准的模型，当它给出0.9的概率时，意味着在该类样本中约有90%确实是正确标签。但神经网络分类器常出现过度自信（overconfidence）现象——对分布外或模棱两可的输入仍给出接近1.0的概率。文中提到的"jev选项返回1.00概率"正是过度自信的典型表现。实践中可通过温度缩放（temperature scaling）或引入拒绝选项（reject option）来缓解，但根本解决仍需阈值兜底策略。

生态支持与部署注意事项

Decision 3.0的落地速度相当快。vLLM 0.32版本新增了它所需的/v1/systemone端点，llama.cpp也在数小时内完成了合并。不过社区提醒，相关配方目前仍指向nightly构建版本，部署前需要确认自己的构建是否匹配。

综合判断：适合路由，但不适合当万能钥匙

从多源讨论来看，Decision 3.0的共识价值在于把路由从“LLM生成+解析”变成“概率分类”这一范式转换。对于LangGraph这类图结构工作流，它提供了一种输出空间封闭、部署灵活的路由方案。但分歧同样明显：可解释性的缺失让它不适合需要审计决策依据的场景，而高置信度错误的存在意味着阈值兜底机制几乎是必须的。

如果你的Agent系统正被路由解析问题困扰，Decision 3.0值得评估；但如果你的场景需要理解“为什么选这条路”，它目前还给不出答案。