一块GPU不够用：用vLLM跨双DGX部署GLM-5.3

单机装不下的大模型，正在倒逼部署方式改变

本地跑一个前沿规模的大模型，前提是所有模型权重必须常驻显存。当参数规模跨过单机上限，传统"一台机器扛一个模型"的思路就失效了。NVIDIA 开发者博客给出的现实案例是 GLM-5.3：它已经无法容纳在单台设备内，需要横跨两台 DGX Station 才能完成部署，而支撑这一方案的核心组件是 vLLM。

这件事的意义不在于某一次具体的部署演示，而在于它揭示了一个趋势——模型规模的扩张速度，快于单机显存容量的增长速度。多机分布式推理从"可选项"变成了"必须项"，工程团队需要提前建立跨节点部署的能力。

权重驻留是硬约束，切分是唯一出路

大模型推理的第一道物理门槛，把所有训练后的权重装进显存。GLM-5.3 在这条线上一脚踩空。

能做的只有切分。按 vLLM 的思路，权重可以被拆分到不同设备的显存中，再通过张量并行让多个 GPU 协同完成同一次前向计算。当设备从单机扩展到两台机器时，切分维度也从机内的 GPU 之间延伸到机间的 GPU 之间，通信开销和同步复杂度同步上升。

值得留意的是，这并非单纯的"把模型拆两半"。跨机张量并行要求两个节点之间保持高带宽、低延迟的互联，否则通信瓶颈会吞掉并行带来的收益。DGX Station 之间的网络配置因此成为整个方案的关键变量，而不是可忽略的细节。

张量并行（Tensor Parallelism） 是多机推理中最常用的切分策略。它的做法是把模型中的大型权重矩阵沿特定维度切分成若干块，每个 GPU 持有一块，前向计算时各设备并行执行局部矩阵乘法，再通过 All-Reduce 等集合通信操作汇总结果。与流水线并行按层切分不同，张量并行在每一层内部展开，因此对设备间带宽要求更高。在单机内，NVLink 提供的高带宽可以较好支撑这一通信模式；一旦跨机，通信需经过网络交换，延迟显著增加，这也是跨机张量并行面临的核心瓶颈。

显存驻留指模型权重在推理期间必须完整保存在 GPU 显存中，而非按需从主机内存或磁盘加载。这是因为大模型单次前向计算需要遍历全部权重，若权重不在显存，频繁的数据搬运会带来难以接受的延迟。因此，模型总权重体积与单机可用显存之间的对比，直接决定能否单机部署——这也是 GLM-5.3 必须跨机部署的根本原因。

vLLM 在多节点部署中承担了什么角色

vLLM 之所以成为这类部署的默认选择，在于它把分布式推理中重复性最高的工程工作做了封装。多节点场景下，需要处理的问题包括：如何在两个节点之间分配张量并行度、如何协调各节点的启动顺序、如何让请求在两台机器上的 GPU 之间正确路由。这些在单机部署中不需要考虑的事情，在双机部署中全部浮现。

vLLM 把这些流程收敛到相对统一的配置接口中，开发者不必从零编写跨节点通信逻辑。对希望快速验证多机部署可行性的团队来说，这种封装显著降低了启动成本。代价是，一旦拓扑结构或网络条件偏离预设，调优仍需要回到 vLLM 的并行配置参数层面进行细致排查。

vLLM 是一个面向大语言模型的高吞吐推理引擎，其核心创新是 PagedAttention——借鉴操作系统虚拟内存分页思想管理 KV Cache，将注意力键值缓存分块存储，显著减少显存碎片并提升并发请求的处理效率。在多节点场景中，vLLM 通过 Ray 等分布式运行时协调各节点上的工作进程，将张量并行组跨机器建立起来，并借助统一的配置接口暴露并行度、节点角色等参数。正是这种将分布式通信与调度逻辑封装进框架的设计，使 vLLM 成为跨机部署事实上的起点；但封装也意味着当网络拓扑或硬件条件超出预设时，调优需深入其并行配置与运行时参数。

双机部署带来的现实权衡

把模型铺开到两台机器上，解决的是"装不下"的问题，但不会免费。

• 通信开销成为新增成本。 每一次跨机的前向计算都涉及节点间数据交换，机内 NVLink 级别的带宽在机间无法原样复现，延迟上升难以避免。
• 资源利用率不再是单一维度。 两个节点的显存被同时占用，弹性调度的空间被压缩，部署规划需要把两台机器的资源作为一个整体来考虑。
• 运维复杂度上升。 故障域从一个节点扩大到两个节点，任何一侧的异常都会影响整个推理服务的可用性。
• 配置错误的影响被放大。 并行度、节点角色、网络地址等参数在双机场景下彼此耦合，错误配置的调试路径比单机长得多。

这些权衡并不构成否定跨机部署的理由，模型规模决定了没有更简单的替代路径。它们真正提示的是：多机推理需要更严格的部署前评估，而不是把单机脚本简单复制一份到第二台机器上。

这件事对本地部署者的启示

NVIDIA 的这次演示给出的信号相当清晰：前沿模型的本地部署，正在从单机时代进入多机时代。

对已经拥有 DGX Station 或类似设备的团队来说，尽早建立跨节点推理的实践能力是务实的选择。权重切分方式、并行度配置、节点间网络质量，这三项直接决定多机部署能否达到可接受的性能水平。对仍在规划硬件的一方，则需要重新审视"单机足够大"这个假设是否还成立——模型规模的增长并未停止，显存容量与模型体积之间的差距只会继续拉大。

GLM-5.3 只是一个具体案例，它指向的问题却是通用的：当模型装不进一台机器，部署架构本身就必须成为设计对象。