Amazon EKS
Amazon Web Services提供的托管Kubernetes容器编排服务，支持弹性扩展和容器化应用的生产级部署
时间轴 (近 90 天)
落地时需注意：镜像版本与 Ray 版本需匹配；节点间网络带宽是常被低估的瓶颈；多节点场景下可观测性应在部署阶段就纳入考量。
选择跨节点推理方案的标准是：模型放不进单节点显存，或单节点吞吐已触顶，同时团队已经在使用 EKS。
EKS 是 AWS 提供的托管 Kubernetes 服务，控制平面由 AWS 维护，用户只需管理节点组或使用 Fargate 等无服务器算力。
如果团队此前没有 Kubernetes 经验，引入 EKS 本身的学习与治理成本可能超过多节点推理带来的收益。
Amazon EKS 结合 Ray LLM Deep Learning Containers 可以把一个 LLM 跨两个 GPU 节点部署，并将 prefill 与 decode 分离，对外只暴露一个兼容 OpenAI 的接口。
该方案建立在一个 Amazon SageMaker HyperPod EKS（Elastic Kubernetes Service）集群之上
Amazon EKS 是 AWS 提供的托管 Kubernetes 服务，用户无需自行管理控制平面
整个方案被部署在 Amazon Elastic Kubernetes Service（EKS）之上，以支持多智能体系统按需水平扩展
全部知识事实 (8)
落地时需注意：镜像版本与 Ray 版本需匹配；节点间网络带宽是常被低估的瓶颈；多节点场景下可观测性应在部署阶段就纳入考量。
50%待验证选择跨节点推理方案的标准是：模型放不进单节点显存，或单节点吞吐已触顶，同时团队已经在使用 EKS。
50%待验证EKS 是 AWS 提供的托管 Kubernetes 服务，控制平面由 AWS 维护，用户只需管理节点组或使用 Fargate 等无服务器算力。
50%待验证如果团队此前没有 Kubernetes 经验，引入 EKS 本身的学习与治理成本可能超过多节点推理带来的收益。
50%待验证Amazon EKS 结合 Ray LLM Deep Learning Containers 可以把一个 LLM 跨两个 GPU 节点部署，并将 prefill 与 decode 分离，对外只暴露一个兼容 OpenAI 的接口。
50%待验证该方案建立在一个 Amazon SageMaker HyperPod EKS（Elastic Kubernetes Service）集群之上
50%待验证Amazon EKS 是 AWS 提供的托管 Kubernetes 服务，用户无需自行管理控制平面
50%待验证整个方案被部署在 Amazon Elastic Kubernetes Service（EKS）之上，以支持多智能体系统按需水平扩展
50%