模型路由层

位于用户请求与具体模型实例之间的调度组件，根据请求内容、负载和可用容量将流量分派到合适的推理集群或模型版本。