LLM Gateway
一种反向代理架构，位于应用层与多个模型提供商API之间，提供统一接口、路由、限流、认证、日志等功能，借鉴传统API网关设计思路
核心事实
时间轴 (近 90 天)
网关折扣和厂商批量折扣是不同杠杆：网关折扣适用于同步交互流量；批量的50%折扣只适用于能等待的异步任务，目前只能直接找厂商获得。
原文运营的网关以低于厂商官方价10–25%转售同样的模型（GPT-5.6为1.70/10.20美元，官方为2/12美元），但该网关没有批量端点，也不支持嵌入。
在原型阶段不需要LLM网关，单供应商加单SDK是正确起点；当接入第二个模型、撞上第一次限流或需要解释账单时，网关才开始体现价值。
LLM网关会增加一跳网络延迟，但相对生成时间（数百到数千毫秒）通常很小。
LLM网关需要解析请求载荷中的model字段做路由决策，借助tiktoken等分词器统计messages中的token数以实现按token限流，把OpenAI格式的tools定义翻译成Anthropic的input_schema，并从响应流的每个chunk中抽取usage字段累加成本。
如果使用OpenAI兼容的网关，离开时只需把URL改回去；要求专有SDK的产品则迁移成本高得多。
LLM网关是位于应用代码与所有模型供应商之间的中间层，对外暴露统一API，对内完成格式转换、流量路由和账单合并。
多个 Provider 的默认模型发生变化：Cortecs、CrossModel、Eden AI、Google Gemini、GitHub Copilot、Google Vertex AI、LLM Gateway、Ofox、OpenCode Go、Prime Inference 现在默认 Gemini 4 Argon；Fireworks AI、Nebius Token Factory、Requesty 转向 Muse Spark Open；CoreWeave、DigitalOcean、NanoGPT、Nvidia 采用 Nemotron 3.5 Super VL；Aixy 和 Neon 使用 Claude Haiku 5.5；Agnes AI、Ambient、IteraCompute、Poe、Scaleway、SenseNova 也有各自调整。
传统API网关处理的请求-响应周期通常在50到200毫秒内完成，而LLM API经常需要保持连接30到120秒。
如果 LLM 网关要求安装 SDK、重写客户端代码或强制注册流程，除非其他方面特别突出，应排到列表末尾
还有 17 条时间轴事件
全部知识事实 (20)
业界类似的开源LLM网关方案包括LiteLLM、OneAPI和PortKey
75%已验证传统API网关处理的请求-响应周期通常在50到200毫秒内完成，而LLM API经常需要保持连接30到120秒。
65%待验证Lyzr Open Controller的LLM Gateway将预算控制细分到组织、团队、Agent、版本、虚拟密钥多个层级
60%待验证网关折扣和厂商批量折扣是不同杠杆：网关折扣适用于同步交互流量；批量的50%折扣只适用于能等待的异步任务，目前只能直接找厂商获得。
50%待验证原文运营的网关以低于厂商官方价10–25%转售同样的模型（GPT-5.6为1.70/10.20美元，官方为2/12美元），但该网关没有批量端点，也不支持嵌入。
50%待验证LLM网关需要解析请求载荷中的model字段做路由决策，借助tiktoken等分词器统计messages中的token数以实现按token限流，把OpenAI格式的tools定义翻译成Anthropic的input_schema，并从响应流的每个chunk中抽取usage字段累加成本。
50%待验证LLM网关会增加一跳网络延迟，但相对生成时间（数百到数千毫秒）通常很小。
50%待验证在原型阶段不需要LLM网关，单供应商加单SDK是正确起点；当接入第二个模型、撞上第一次限流或需要解释账单时，网关才开始体现价值。
50%待验证如果使用OpenAI兼容的网关，离开时只需把URL改回去；要求专有SDK的产品则迁移成本高得多。
50%待验证LLM网关是位于应用代码与所有模型供应商之间的中间层，对外暴露统一API，对内完成格式转换、流量路由和账单合并。
50%待验证如果 LLM 网关要求安装 SDK、重写客户端代码或强制注册流程，除非其他方面特别突出，应排到列表末尾
50%待验证按量付费、积分永不过期、无需订阅是选择 LLM 网关的底线条件
50%待验证在应用与各家 LLM 之间插入统一网关层，对外暴露单一接口，对内将标准请求翻译成各厂商专有格式并归一化响应，可实现代码零改动切换模型
50%待验证自建网关灵活可控但需持续维护以跟进各家 API 变更，现成工具开箱即用但可能带来额外抽象层开销或供应商锁定风险
50%待验证对于只调用两三家模型的小项目，简单的自建网关往往足够；供应商数量、路由策略和可观测性需求复杂时，成熟开源网关更省心
50%待验证多模型路由架构也被称为「LLM Gateway」或「模型编排层」，其核心职责是在调用方与底层模型之间增加一层抽象，支持按规则、按成本或按延迟要求动态分发请求
50%待验证预处理路由层加主推理引擎的分层架构在工程上通常被称为 Router-as-a-Service 或 LLM Gateway 模式
50%待验证LLM Gateway方案的优势在于无需改动业务代码即可获得trace数据，劣势在于网关成为新的关键路径，带来延迟、可用性和供应商锁定风险
50%待验证LLM网关本质上是一个位于应用与模型供应商之间的智能中间层
50%待验证通过缓存对重复性高的相同查询进行本地或Redis缓存，可将成本削减40%~60%
50%