负载均衡
AI网关按权重、延迟或成本将请求分配到多个模型实例的策略，可将简单请求路由到便宜小模型，复杂请求路由到旗舰模型
时间轴 (近 90 天)
对于承载长连接的服务器，内核升级会中断现有 TCP 会话，需配合负载均衡摘流。
基础设施中按照人类节奏设计的限流、缓存和负载均衡策略，在 AI 流量的压力下容易失效。
部署侧采用负载均衡加分布式高并发架构，将语音流处理与文本计算做分层结合，支撑千人级并发场景下的稳定运行。
有状态作业（如AI视频生成）的创建、状态查询和结果下载必须绑定到同一个资源实例上，否则状态查询会因路由到其他实例而失败。
专家均衡与token覆盖之间存在固有张力，任何路由策略都必须在这个张力中做出选择。
Token-Choice路由中，路由网络为每个token生成对所有专家的打分，再选出Top-K个专家处理该token；其固有风险是专家利用率失衡，常见对策包括加性bias调整路由分数、辅助负载均衡损失、专家容量上限等。
AI网关可按权重、延迟或成本把请求分配到多个模型实例上，例如把80%的简单请求路由到便宜小模型，把复杂请求路由到旗舰模型。
缓存亲和性将请求拉向同一批副本，容易造成热点；纯负载均衡则牺牲复用，路由器需在两者间做动态权衡。
OmniRoute 本质上实现了反向代理加负载均衡的组合，在本地运行并监听固定端口，将进入的 API 请求转译成目标提供商要求的格式后转发
负载均衡的常见算法包括轮询、最少连接数和一致性哈希
还有 1 条时间轴事件
全部知识事实 (11)
对于承载长连接的服务器，内核升级会中断现有 TCP 会话，需配合负载均衡摘流。
50%待验证基础设施中按照人类节奏设计的限流、缓存和负载均衡策略，在 AI 流量的压力下容易失效。
50%待验证部署侧采用负载均衡加分布式高并发架构，将语音流处理与文本计算做分层结合，支撑千人级并发场景下的稳定运行。
50%待验证有状态作业（如AI视频生成）的创建、状态查询和结果下载必须绑定到同一个资源实例上，否则状态查询会因路由到其他实例而失败。
50%待验证专家均衡与token覆盖之间存在固有张力，任何路由策略都必须在这个张力中做出选择。
50%待验证Token-Choice路由中，路由网络为每个token生成对所有专家的打分，再选出Top-K个专家处理该token；其固有风险是专家利用率失衡，常见对策包括加性bias调整路由分数、辅助负载均衡损失、专家容量上限等。
50%待验证AI网关可按权重、延迟或成本把请求分配到多个模型实例上，例如把80%的简单请求路由到便宜小模型，把复杂请求路由到旗舰模型。
50%待验证缓存亲和性将请求拉向同一批副本，容易造成热点；纯负载均衡则牺牲复用，路由器需在两者间做动态权衡。
50%待验证OmniRoute 本质上实现了反向代理加负载均衡的组合，在本地运行并监听固定端口，将进入的 API 请求转译成目标提供商要求的格式后转发
50%待验证负载均衡的常见算法包括轮询、最少连接数和一致性哈希
50%待验证多模型同时异常通常意味着问题并非某个单一模型的推理故障，而是更底层的共享基础设施出现了状况，例如统一的API网关、负载均衡层、认证服务或后端GPU集群调度系统
50%