LiteLLM
LiteLLM是一个开源的大语言模型统一调用库和代理中间件，提供兼容OpenAI格式的标准化API接口，支持将请求路由至100余种LLM提供商（包括OpenAI、Anthropic、Azure、本地部署模型等）。其核心功能包括多模型负载均衡、请求格式转换、成本追踪与访问控制，帮助开发者以统一方式集成和管理不同来源的大语言模型服务。
核心事实
时间轴 (近 90 天)
面向公网的 PHP 应用、暴露 API 密钥的 LiteLLM 实例、以及托管核心代码的 GitLab 实例，在漏洞修复优先级评估中应被视为高优先级。
LiteLLM 支持将用户输入透传给上游模型，若未对输入进行过滤，可能被用于提示注入或资源滥用。
针对 LiteLLM 实例的安全建议：启用认证与速率限制，将密钥存储于密钥管理服务而非明文环境变量，并定期轮换密钥以降低泄露影响。
Vercel AI SDK 不是团队级网关，如果需要统一的网关、按团队分配密钥和预算，建议使用 LiteLLM。
LiteLLM 发布流水线遭攻击，1.107.0 版本被植入窃取凭据和加载远程代码的恶意程序，恶意包和受影响镜像已撤下或替换，使用私有企业发行版的客户不受影响。
Wiz 披露恶意版本 LiteLLM 1.107.0 被上传至 PyPI，相关 GHCR 和 Docker Hub 镜像标签也被植入，随后被隔离移除，最近的安全版本为 1.106.2。
LiteLLM 是一个日均下载量340万次的 AI 工具，帖子称它被植入密码窃取器。
应将对 LiteLLM 这类网关组件的安全要求提升到与数据库、密钥管理服务同级。
对确认安装过恶意版本的机器与镜像，建议直接重建而非修补。
LiteLLM 的 PyPI 包 1.107.0 版本在发布后不到两小时内被确认包含凭据窃取代码与后门逻辑，随后被下架。
还有 40 条时间轴事件
全部知识事实 (20)
LiteLLM是一个开源的LLM统一接入层项目，其Proxy模式可以将不同格式的API请求统一转换为OpenAI兼容格式
80%已验证LiteLLM、Portkey、Kong AI Gateway是典型的AI网关开源或商业实现
75%已验证LiteLLM和OneAPI等开源项目也提供了类似的统一接口层
75%已验证LiteLLM是一个开源的LLM API统一代理层，将数十家模型提供商的API统一封装为OpenAI兼容格式
75%已验证业界类似的开源LLM网关方案包括LiteLLM、OneAPI和PortKey
75%已验证OpenRouter、LiteLLM等项目也在探索多模型编排方案
75%已验证RouteLLM和LiteLLM是实现LLM智能路由功能的开源框架
70%已验证Open Router是一个AI模型聚合路由平台，通过统一的OpenAI兼容API接口让开发者访问来自多个厂商的数百个模型
70%已验证测试中每160毫秒节拍的p99延迟为147.4-147.5毫秒，跨三轮共84,000次会话节拍测量零次错过截止时间
65%已验证OpenAI兼容协议的核心是 /v1/chat/completions REST接口规范，定义了model、messages、temperature等字段及流式响应（Server-Sent Events）格式
65%已验证LiteLLM项目基于Python开发
65%已验证LiteLLM提供Python SDK和Proxy Server（AI Gateway）两种使用模式
65%已验证LiteLLM是由BerriAI团队开发的开源项目
65%已验证LiteLLM是Python生态中的多模型统一代理，聚焦于API兼容性转换
65%已验证LLM路由是根据任务复杂度、成本预算和响应速度需求动态选择模型的推理优化策略，RouteLLM和LiteLLM等开源框架已在探索这一方向
65%待验证LiteLLM的日志系统支持与Langfuse、Helicone、Datadog和Prometheus等可观测性平台集成
90%待验证LiteLLM的护栏系统支持集成第三方审核服务如Lakera和Presidio
90%待验证该方案的所有数据和推理都在本地完成，不会外传到第三方服务器，适合对数据隐私有严格要求的企业场景
90%待验证通过设置环境变量ANTHROPIC_BASE_URL指向LiteLLM Proxy的本地端口，可以将Claude Agent SDK的请求重定向到本地模型，无需修改SDK源码
90%待验证LiteLLM和OneAPI等开源项目将不兼容OpenAI格式的模型（如Claude的原生API、Gemini的Vertex AI接口）统一适配为OpenAI格式
85%