概念
NVLink
NVLink是NVIDIA开发的一种高速芯片间互联技术,用于实现多块GPU之间或GPU与CPU之间的高带宽、低延迟直接通信。相较于传统PCIe总线,NVLink提供更高的数据传输带宽和更低的延迟,支持多GPU协同工作时的高效数据共享与通信,广泛应用于高性能计算、深度学习训练及数据中心等场景。
核心事实
时间轴 (近 90 天)
8月26日
张量并行是将单个层的计算(如矩阵乘法)拆分到多个GPU上并行执行,通信频率高,通常要求GPU之间有高带宽互联如NVLink
待验证50%
8月22日
前沿模型训练需要极高的GPU间互联带宽,要求训练集群物理上集中在同一地点,不能简单分散到多个数据中心
待验证50%
7月20日
英伟达主导的高端训练集群依赖InfiniBand高速网络(带宽可达800Gb/s)和NVLink/NVSwitch实现GPU直连
待验证50%
7月12日
NVLink 4.0的双向带宽高达900GB/s,而传统PCIe总线带宽约为64GB/s
已验证65%