GB200 NVL72块调度实战：Slurm如何榨干机架级NVLink性能

引言：GPU集群架构正在经历范式转变

NVIDIA GB200 NVL72 不是一次简单的硬件升级，而是GPU集群构建方式的根本性变革。它把NVLink一致性从单节点内部扩展到了整个机架——72块GPU通过NVLink Switch全互联，形成一个统一的高带宽通信域。

但硬件再强，调度跟不上也是白搭。一个关键问题摆在所有运维和架构团队面前：怎么在这种高度互联的系统上把效率拉满？

答案指向Slurm的块调度（Block Scheduling）。本文将拆解GB200 NVL72的架构特性，说清楚块调度为什么是释放其全部潜力的关键手段，并给出可落地的配置建议。

GB200 NVL72：机架级NVLink一致性带来了什么

72 GPU全互联的架构设计

GB200 NVL72的核心创新在于把NVLink互联从节点内扩展到了整个机架。一个NVL72机架包含72块GPU，通过NVLink Switch实现全互联，构成一个巨大的一致性内存域。

这意味着什么？机架内任意两块GPU之间都能通过NVLink直接通信，带宽远超InfiniBand或以太网。对于大规模模型训练来说，跨节点通信这个老大难问题在机架内被大幅缓解——72块GPU本质上就是一个"超级节点"。

传统节点边界被打破

在以往的DGX集群中，8块GPU组成一个节点，节点内走NVLink，节点间走InfiniBand。调度器只需要按节点分配就行，逻辑简单。

但NVL72把这个边界彻底打破了。72块GPU共享同一个NVLink域，节点的概念被弱化，取而代之的是更复杂的拓扑层次结构。这对调度系统提出了全新的要求。

传统调度为什么在NVL72上失效

传统Slurm调度器以节点为基本单位分配资源，在NVL72架构下会遇到两个严重问题：

资源碎片化加剧。 假设机架上先后提交了几个不同规模的作业，按默认策略分配后，空闲GPU可能散落在机架各处。后续提交的大作业即使总空闲GPU数量足够，也可能因为找不到连续的块而排队等待。这就是典型的"瑞士奶酪"问题——到处都是小洞，但没有一个够大。

通信效率打折扣。 NVLink Switch的拓扑并非完全扁平。虽然72块GPU都互联，但经过不同层级Switch的通信路径，延迟和有效带宽存在差异。如果16块GPU被分配到拓扑上分散的位置，AllReduce等集合通信操作的实际性能会明显低于理论峰值。

简单说，传统调度在NVL72上既浪费资源，又浪费带宽。

Slurm块调度：核心机制与关键优势

块调度的基本原理

块调度（Block Scheduling）的核心思路是：把72块GPU按照NVLink拓扑结构划分为多个逻辑"块"，以块为最小单位进行作业分配。

具体来说，根据NVLink Switch的连接层次，72块GPU可以被划分为不同粒度的块——比如9个8-GPU块，或者4个18-GPU块，甚至2个36-GPU块。每个块内的GPU在物理拓扑上紧密相邻，共享最短的NVLink通信路径。

当一个作业请求16块GPU时，块调度器不会随意挑选16块空闲GPU，而是分配两个相邻的8-GPU块，确保这16块GPU在拓扑上构成一个紧凑的子集。

三个关键优势

优势一：通信延迟显著降低

拓扑感知的分配策略减少了数据在NVLink网络中的跳数。对于AllReduce、AllGather这类集合通信操作，更少的跳数直接意味着更低的延迟和更高的有效带宽。在大模型训练中，通信开销往往占到总训练时间的30%以上，这部分的优化效果非常可观。

优势二：资源碎片化大幅减少

块调度以结构化的方式分配和回收资源。作业完成后释放的是完整的块，而不是零散的GPU。后续作业可以直接复用这些完整的块，不会出现"有空闲GPU但拼不出连续块"的尴尬局面。

优势三：系统吞吐量整体提升

碎片化减少意味着GPU利用率提高，排队时间缩短。在集群负载较高的场景下（这也是生产环境的常态），块调度带来的吞吐量提升尤为明显。多项基准测试表明，相比默认调度策略，块调度可以将系统整体利用率提升15%-25%。

落地实施：Slurm配置与工作负载优化

Slurm侧的关键配置

在Slurm中为GB200 NVL72启用块调度，需要重点关注以下几个配置环节：

拓扑插件配置

启用Slurm的topology plugin，将NVL72的NVLink拓扑信息注入调度器。这是块调度的基础——调度器必须知道哪些GPU之间的通信路径更短、带宽更高，才能做出拓扑感知的分配决策。

分区与块粒度定义

根据NVL72的物理拓扑层次，定义合理的块大小。常见的划分方式包括：

• 8-GPU块：适合中等规模的张量并行作业
• 18-GPU块：适合需要更大并行度的训练任务
• 36-GPU块：适合半机架规模的大型作业
• 72-GPU块：独占整个机架，适合超大规模训练

在Slurm的分区配置中，将这些块大小定义为可调度的资源单元。

作业约束与对齐策略

通过Slurm的constraint机制，引导用户提交的作业GPU数量与预定义块大小对齐。例如，请求12块GPU的作业可以被自动向上对齐到16块（两个8-GPU块），或者提示用户调整请求。这种对齐虽然可能带来少量资源冗余，但换来的调度效率提升远超代价。

工作负载侧的优化建议

硬件和调度配好了，工作负载本身也需要配合调整才能把效果最大化：

并行策略与块层次对齐

这是最重要的一条。将张量并行（TP）限制在NVLink带宽最高的GPU子集内（通常是同一个最小块），数据并行（DP）跨块分布，流水线并行（PP）沿拓扑层次展开。这样每种并行策略都能匹配到最合适的通信带宽层级。

作业规模选择块大小的整数倍

请求的GPU数量尽量是8、18、36等块大小的整数倍。比如需要32块GPU，调整为36块（两个18-GPU块）通常比强行凑32块更高效——多出的4块GPU带来的通信优化收益，往往超过资源冗余的成本。

充分利用NVLink一致性内存

在编程层面，利用NVLink提供的一致性内存访问能力，减少显式的GPU间数据搬运。NCCL等通信库已经针对NVLink拓扑做了深度优化，确保使用最新版本并正确配置拓扑信息。

性能影响与未来演进方向

块调度对GB200 NVL72的效率提升是多层面的：

• 单作业维度：拓扑感知的GPU分配降低集合通信开销，训练迭代速度提升显著
• 系统维度：碎片化减少带来更高的GPU利用率和更短的排队时间
• 运维维度：结构化的资源管理简化了故障隔离和容量规划

跨机架场景的挑战

随着AI模型参数量持续膨胀，单个训练作业跨越多个NVL72机架将成为常态。这时块调度的理念需要向上扩展：不仅要在机架内优化GPU分配，还要在机架间优化网络拓扑——选择InfiniBand连接最优的机架组合，减少跨机架通信的性能损失。

这本质上是一个多层次的拓扑感知调度问题：机架内走NVLink块调度，机架间走网络拓扑感知调度，两者协同才能在超大规模场景下维持高效率。

调度与硬件的协同演进

GB200 NVL72与Slurm块调度的结合，揭示了一个越来越清晰的趋势：硬件架构创新必须与调度软件协同演进，才能真正兑现性能承诺。

再强的互联带宽，如果调度器不理解拓扑结构，分配出来的GPU组合照样跑不出好成绩。反过来，再精巧的调度算法，如果底层硬件不提供足够的拓扑信息和灵活性，也无从施展。

对于正在规划或已经部署GB200 NVL72的团队来说，块调度不是一个可选的优化项，而是充分发挥硬件投资回报的必要条件。