Buoyant开源Kinference：K8s上的vLLM推理控制平面

Buoyant 发布了 Kinference——一个面向 Kubernetes 上 vLLM 的开源推理控制平面，采用 Apache 2.0 许可证。它把服务网格时代积累的流量治理思路带进了大模型推理场景，试图解决一个越来越现实的问题：当推理集群规模上去之后，单纯堆 GPU 和调 vLLM 参数已经不够用了。

推理服务正在变成一门"治理"生意

过去一年，vLLM 几乎成了自建推理服务的事实标准，但它本质上是一个推理引擎，而不是一个集群级别的调度系统。当多个团队、多个模型、多个租户共用一个 Kubernetes 集群时，谁来决定请求该落到哪个实例？谁来做故障隔离和容量分配？这些问题的答案通常是"自己写一层"。

Kinference 的定位就是这层缺失的中间件。根据官方描述，它的核心能力集中在三个方面：声明式路由策略、KV-cache 感知的负载均衡、以及按租户划分的指标。这三项恰好对应了推理集群运维中最容易踩坑的环节。

声明式路由：把策略从代码里拿出来

传统做法下，请求分发逻辑往往硬编码在网关或业务代码里，改一次策略就要发一次版。Kinference 采用声明式配置，意味着路由规则可以像 Kubernetes 的其他资源一样被版本化管理、审计和复用。对于多模型共存的集群，这能显著降低策略变更带来的运维风险。

KV-cache 感知：负载均衡不能只看连接数

这是 Kinference 最有技术含量的一点。大模型推理的性能瓶颈往往不在计算，而在 KV 缓存的命中率——如果请求被随机打到没有相关上下文的实例上，prefill 阶段就要重新计算，延迟立刻上升。Kinference 的负载均衡会考虑 KV 缓存状态，把请求导向更可能命中缓存的实例。

Buoyant 在自家基准测试中给出的数据是：中位 TTFT（首 token 延迟）降低了 95%。这个数字需要谨慎看待，因为它来自厂商自己的测试环境，具体负载模型和对比基线并未完整披露。但方向上与业界共识一致：缓存感知的路由对推理延迟的改善是数量级层面的，而非边际优化。

KV 缓存与 prefill 的关系：大模型推理通常分为两个阶段——prefill 阶段一次性处理完整输入并生成 KV 缓存，decode 阶段逐 token 生成输出。KV 缓存保存了历史 token 的注意力键值对，避免重复计算。在多轮对话或长上下文场景中，若新请求能复用已有缓存，prefill 的计算量可大幅下降；反之则需从头计算，TTFT 显著上升。KV-cache 感知路由的核心，就是在调度层读取各实例的缓存前缀信息，优先将请求导向缓存重叠度高的实例。

按租户指标：多团队共用的前提

在共享集群里，如果没有按租户拆分的观测数据，容量纠纷几乎无法避免。Kinference 提供 per-tenant metrics，让平台团队能够看清楚每个租户消耗了多少推理资源、延迟表现如何。这是多租户推理平台从"能用"走向"可运营"的必要条件。

与现有方案的差异

Kubernetes 生态里已经有 Gateway API Inference Extension 等项目在做类似的事情，服务网格厂商也纷纷把流量治理能力延伸到推理场景。Kinference 的差异化在于它明确绑定 vLLM，而不是做一个通用的推理抽象层。这种取舍的好处是能更深入地利用 vLLM 的内部状态（比如 KV 缓存），代价是生态锁定。

对于已经在 vLLM 上投入生产的环境，这种绑定反而是优势；对于还在选型阶段的团队，则需要权衡灵活性。

Gateway API Inference Extension：这是 Kubernetes SIG Network 社区推进的项目，旨在为推理工作负载定义标准化的网关扩展模型，例如通过 InferencePool 和 InferenceModel 等资源表达模型路由与实例选择。它走的是通用、厂商中立的路线，不绑定具体推理引擎。Kinference 与它的关系更接近互补而非替代：前者可视为在 vLLM 场景下对同类问题的垂直化实现，牺牲通用性换取对引擎内部状态（如 KV 缓存）的直接访问能力。

值得关注但需要验证的点

开源发布只是起点。推理控制平面的价值高度依赖与具体推理引擎版本的兼容性，以及在高并发下的稳定性表现。95% 的 TTFT 改善能否在真实业务负载下复现，多租户指标的开销有多大，这些都需要社区在实际部署中给出答案。Apache 2.0 许可证降低了试用门槛，接下来就看 adoption 的速度了。

TTFT 基准的可比性：TTFT（Time To First Token）受输入长度、并发数、模型规模、GPU 型号和批处理策略等多重因素影响，不同测试配置下差异可达数倍。95% 的降幅若来自“缓存完全未命中”与“缓存完全命中”两种极端场景的对比，则更接近理论上限而非典型业务收益。评估此类数据时，应关注对比基线是否为同一集群内的随机路由、负载是否包含真实的多轮对话分布，以及是否报告了 P50 与 P99 的完整分位数。