NVLink
NVLink是NVIDIA开发的一种高速芯片间互联技术，用于实现多块GPU之间或GPU与CPU之间的高带宽、低延迟直接通信。相较于传统PCIe总线，NVLink提供更高的数据传输带宽和更低的延迟，支持多GPU协同工作时的高效数据共享与通信，广泛应用于高性能计算、深度学习训练及数据中心等场景。
核心事实
时间轴 (近 90 天)
Grace Blackwell 节点内部资源拓扑呈现更强的异构亲和性：某些任务在 CPU 与 GPU 紧耦合路径上通信开销更低，跨 GPU 通信依赖 NVLink 交换网络。
实际部署中常把张量并行和流水线并行组合使用，并配合跨节点显存统一寻址或高速互联（如NVLink、InfiniBand或高速以太网）。
MIG实例的计算能力有限，且部分实例规格不支持完整的NVLink带宽，因此更适合多租户或任务隔离场景，而非追求单任务极致性能。
DeepEP 是为 MoE 全员对全员通信设计的库，同一台机器内走 NVLink，跨机器走 RDMA，支持 FP8 传输，最新第二版将训练/预填充高吞吐与解码低延迟两种用法合并到一个接口。
NVIDIA的Xid编号体系覆盖GPU硬件与固件错误，每个编号对应一类特定的故障根因，例如Xid 79表示GPU已从PCIe总线上掉线，Xid 48对应不可纠正的双比特ECC内存错误，Xid 74涉及NVLink链路故障，Xid 119/120与GSP固件超时相关。
在异构后端中，PCIe 带宽通常远低于 NVLink，会成为跨设备调度的瓶颈；把草稿模型放在与目标模型同一条 PCIe 根复合体下的设备或直接放在 CPU 上，往往比跨 NUMA 节点搬运更划算。
机架级系统通过统一的高速互联（如 NVLink）和共享内存池，让跨卡通信保持在较低延迟，从而支撑大模型的实时推理。
GPU集群依靠NVLink和InfiniBand实现高带宽低延迟通信，NCCL库对此做了深度优化；NPU设备的互联拓扑往往不同，如华为昇腾的HCCL、TPU的ICI。
通信优化手段包括梯度压缩为低精度（如 FP16 或 INT8）、将 All-Reduce 拆分为 Reduce-Scatter 与 All-Gather 并与反向计算重叠、以及采用分层通信（节点内 NVLink 聚合，跨节点 InfiniBand 交换）
NVLink将72块GPU连接为一个高带宽scale-up域，让数万亿参数的MoE模型像一台协调的机器运行。
还有 35 条时间轴事件
全部知识事实 (20)
NVLink 4.0的双向带宽高达900GB/s，而传统PCIe总线带宽约为64GB/s
90%已验证在H100 NVLink架构中，单台服务器内8块GPU可通过NVSwitch全互联，总带宽达900GB/s，相比PCIe 5.0的64GB/s有数量级提升
90%已验证NVLink 4.0的双向带宽可达900GB/s，而跨节点InfiniBand HDR仅约50GB/s，差距近20倍
80%已验证训练需要高带宽互联的GPU集群（如NVLink互联的A100/H100），推理更看重单卡内存带宽、批处理吞吐量与低延迟
75%已验证NVIDIA最新的NVLink 5.0可提供每GPU 1.8TB/s的双向带宽
75%已验证NVLink 4.0（用于H100）单向带宽可达900 GB/s
70%已验证实测中Qwen3 27B在未开启NVLink的4张魔改2080Ti上生成速度约为40多token/秒
65%已验证英伟达主导的高端训练集群依赖InfiniBand高速网络（带宽可达800Gb/s）和NVLink/NVSwitch实现GPU直连
65%待验证NCCL通信库已经针对NVLink拓扑做了深度优化
90%待验证传统DGX集群中，8块GPU组成一个节点，节点内走NVLink，节点间走InfiniBand
90%待验证大语言模型训练背后需要精密的数据中心电源分配单元、液冷或风冷散热系统、高速互联网络（NVLink、InfiniBand）以及UPS不间断电源保障
90%待验证块调度建议将张量并行（TP）限制在NVLink带宽最高的GPU子集内（同一个最小块），数据并行（DP）跨块分布，流水线并行（PP）沿拓扑层次展开
85%待验证GB200 NVL72的72块GPU可以按照NVLink拓扑结构划分为不同粒度的块，包括9个8-GPU块、4个18-GPU块、2个36-GPU块或1个72-GPU块
85%待验证在大规模训练集群中，节点内通信（NVLink）与节点间通信（InfiniBand或RoCE）的性能差异可达一个数量级
80%待验证NVLink的核心目标是突破传统PCIe总线在带宽上的限制，让多个GPU之间以极高速率直接通信
70%待验证张量并行是将单个层的计算（如矩阵乘法）拆分到多个GPU上并行执行，通信频率高，通常要求GPU之间有高带宽互联如NVLink
70%待验证Hopper架构的第四代NVLink提供900GB/s的带宽
70%待验证NVLink技术自2016年Pascal架构起推出，旨在突破PCIe总线的带宽限制
70%待验证GB200 NVL72将NVLink互联从单节点内部扩展到了整个机架级别，机架内任意两块GPU之间都能通过NVLink直接通信
70%待验证NVLink第五代（搭载于Blackwell架构）单链路双向带宽可达1.8TB/s
70%