llm-d
Kubernetes 原生的开源分布式 LLM 推理栈，支持跨 vLLM、SGLang 及 TPU/GPU 异构硬件运行，核心能力包括缓存感知路由、Agent 感知路由与多租户流控
时间轴 (近 90 天)
Google、Red Hat 与 IBM 联合发布了 llm-d 1.0，这是一个 Kubernetes 原生的开源分布式推理栈。
llm-d 支持跨 vLLM、SGLang 以及 TPU/GPU 异构硬件运行。
llm-d 1.0 引入了缓存感知路由（cache-aware routing）能力，将缓存状态纳入路由决策，把请求导向已持有相关上下文的后端实例。
llm-d 1.0 补齐了多租户流控、零停机升级和 Agent 感知路由等面向生产环境的工程能力。
多租户流控让不同团队或应用共享同一推理集群时能够获得隔离的配额与优先级，防止单个高并发任务拖垮全局。
零停机升级在调度层处理灰度与排空，降低版本迭代风险。
Agent 感知路由通过感知调用图，减少多步 Agent 工作流中跨节点状态同步开销。
llm-d 以自定义资源定义（CRD）和控制器（controller）的形式扩展 Kubernetes API，复用其声明式配置、服务发现、健康检查与弹性伸缩机制。
llm-d 引入了类似 Gateway API Inference Extension 的语义。
llm-d 定位为处理服务间东西向流量治理（路由、重试、熔断、租户隔离）的推理服务网格，而非南北向的入口网关。
还有 2 条时间轴事件
全部知识事实 (12)
在异构硬件（GPU 与 TPU 混合集群）下，统一 API 不等于统一性能表现，性能调优仍需实测验证。
50%待验证llm-d 支持跨 vLLM、SGLang 以及 TPU/GPU 异构硬件运行。
50%待验证llm-d 1.0 引入了缓存感知路由（cache-aware routing）能力，将缓存状态纳入路由决策，把请求导向已持有相关上下文的后端实例。
50%待验证llm-d 1.0 补齐了多租户流控、零停机升级和 Agent 感知路由等面向生产环境的工程能力。
50%待验证多租户流控让不同团队或应用共享同一推理集群时能够获得隔离的配额与优先级，防止单个高并发任务拖垮全局。
50%待验证零停机升级在调度层处理灰度与排空，降低版本迭代风险。
50%待验证Agent 感知路由通过感知调用图，减少多步 Agent 工作流中跨节点状态同步开销。
50%待验证llm-d 以自定义资源定义（CRD）和控制器（controller）的形式扩展 Kubernetes API，复用其声明式配置、服务发现、健康检查与弹性伸缩机制。
50%待验证llm-d 引入了类似 Gateway API Inference Extension 的语义。
50%待验证llm-d 定位为处理服务间东西向流量治理（路由、重试、熔断、租户隔离）的推理服务网格，而非南北向的入口网关。
50%待验证已在多节点规模运行 Kubernetes 推理负载的团队是 llm-d 最直接的目标用户；单卡或单节点阶段引入调度层边际收益有限。
50%待验证Google、Red Hat 与 IBM 联合发布了 llm-d 1.0，这是一个 Kubernetes 原生的开源分布式推理栈。
50%