NVIDIA Dynamo
NVIDIA推出的分布式推理框架，专为大语言模型在多GPU、多节点集群上的高效服务而设计，核心能力包括KV Cache跨节点调度与复用、请求动态路由及与Kubernetes等编排系统的集成
核心事实
时间轴 (近 90 天)
在 Kubernetes 上运行 NVIDIA Dynamo 需要管理 GPU 驱动、容器运行时、网络插件、调度配置等多个运行时层，仅安装 Helm Chart 不足以完成部署。
Dynamo 的部署高度依赖 Kubernetes 侧的服务发现与网络能力。
NVIDIA Dynamo 支持 disaggregated serving，即将预填充（prefill）与解码（decode）阶段分离部署到不同资源池，以提升吞吐与资源利用率。
Dynamo 前端暴露 OpenAI 兼容 API，客户端使用熟悉的 routes 调用，前端将请求路由到后端 Worker。
团队可以直接从已验证的 DGD manifest 开始部署，用 kubectl 应用后由 Dynamo Operator 将推理图调谐为实际运行、承载流量的组件。
DGDR 的五步操作流程为：定义 DGDR → 用 kubectl 应用 → 等待 Operator 创建并调谐 DGD → 向 API 端点发请求 → 验证响应来自 Dynamo 端点。
DGDR（DynamoGraph Deployment Request）是意图驱动的部署路径，用户只需描述模型、后端、工作负载、硬件以及可选的 SLA 目标，Dynamo 会分析这些输入并生成 DynamoGraph Deployment（DGD）。
使用 Dynamo 在 Kubernetes 上部署推理服务的前置条件是：一个能访问所需 GPU 的 Kubernetes 集群，以及已安装的 Dynamo Operator。
NVIDIA Dynamo 在 Kubernetes 上采用 Operator 模式，由 Operator 持续调谐使集群实际状态与用户声明的期望状态保持一致。
Dynamo Operator 通常通过 Dynamo 平台 Helm chart 安装，这是推荐方式。
还有 16 条时间轴事件
全部知识事实 (20)
NVIDIA Dynamo 是 NVIDIA 推出的分布式推理框架，专为大语言模型在多 GPU、多节点集群上的高效服务而设计
75%待验证在 Kubernetes 上运行 NVIDIA Dynamo 需要管理 GPU 驱动、容器运行时、网络插件、调度配置等多个运行时层，仅安装 Helm Chart 不足以完成部署。
50%待验证Dynamo 的部署高度依赖 Kubernetes 侧的服务发现与网络能力。
50%待验证NVIDIA Dynamo 支持 disaggregated serving，即将预填充（prefill）与解码（decode）阶段分离部署到不同资源池，以提升吞吐与资源利用率。
50%待验证NVIDIA Dynamo 在 Kubernetes 上采用 Operator 模式，由 Operator 持续调谐使集群实际状态与用户声明的期望状态保持一致。
50%待验证Dynamo Operator 通常通过 Dynamo 平台 Helm chart 安装，这是推荐方式。
50%待验证使用 Dynamo 在 Kubernetes 上部署推理服务的前置条件是：一个能访问所需 GPU 的 Kubernetes 集群，以及已安装的 Dynamo Operator。
50%待验证DGDR（DynamoGraph Deployment Request）是意图驱动的部署路径，用户只需描述模型、后端、工作负载、硬件以及可选的 SLA 目标，Dynamo 会分析这些输入并生成 DynamoGraph Deployment（DGD）。
50%待验证团队可以直接从已验证的 DGD manifest 开始部署，用 kubectl 应用后由 Dynamo Operator 将推理图调谐为实际运行、承载流量的组件。
50%待验证Dynamo 前端暴露 OpenAI 兼容 API，客户端使用熟悉的 routes 调用，前端将请求路由到后端 Worker。
50%待验证Dynamo 的 Worker 可以运行 SGLang、TensorRT-LLM 或 vLLM 推理引擎，具体取决于部署配置。
50%待验证对于迁移小型现有端点的团队，建议先从 DGDR 入手跑通端到端，验证 OpenAI 兼容端点可用后再根据容量需求调整部署，而不是重构整个技术栈。
50%待验证etcd 是一个强一致的分布式键值存储，常被用作服务发现与配置中心；Dynamo 中每个 worker 启动时会向 etcd 注册自身元数据并定期续租。
50%待验证根据官方数据，相比传统的轮询负载均衡，KV感知路由可将首Token延迟（TTFT）降低高达40%，整体吞吐量提升25-30%。
50%待验证Dynamo 的 KV Router 依赖 etcd 用于 worker 发现与注册，NATS 负责 KV 缓存事件的实时传播。
50%待验证配置智能路由前，聚合式服务需要2块GPU，分离式服务则需要4块GPU。
50%待验证Dynamo 容器以 UID 1000 运行，需要写入权限才能下载模型权重。
50%待验证Dynamo 的 KV Router 通过评估各 worker 的计算成本来智能分配推理请求。
50%待验证业界通常将 LLMD 与 NVIDIA 的 Dynamo、KServe 等项目放在同一赛道比较，关注点都是如何在多节点、多模型、多租户条件下把 GPU 利用率与端到端延迟同时做好。
50%待验证NVIDIA Dynamo 的核心能力包括 KV Cache 的跨节点调度与复用、请求的动态路由，以及与 Kubernetes 等编排系统的集成
50%