GPUDirect Storage
NVIDIA推出的直接存储技术,允许存储设备通过PCIe总线直接将数据写入GPU显存,绕过CPU和系统内存中转,将数据路径压缩为存储到GPU显存的单跳传输,显著降低I/O延迟和CPU开销
核心事实
时间轴 (近 90 天)
GDS更适合存储访问频繁、数据量大的场景,例如大规模训练数据加载和需要高吞吐读取的推理流水线;对于I/O需求较轻的应用,投入配置与验证的成本未必能换来明显收益。
要支持GDS的P2P路径,需要芯片组和PCIe交换机具备P2P转发能力,且GPU与存储设备位于同一PCIe根复合体下或经过支持ACS的交换结构。
部署GDS前需要确认GPU架构是否在支持范围内、存储设备是否支持直接内存访问、文件系统是否已挂载并具备相应能力。
cuFile驱动层会根据文件系统类型、打开模式和内存类型自动选择GDS路径或回退到兼容路径(如通过系统内存bounce buffer)。
即使GDS组件安装正确,若应用仍使用传统POSIX I/O(如read()/write()),数据也不会走直连通道,因此配置验证必须包含应用侧检查。
GDS通过直接内存访问(DMA)建立存储到GPU的直连通道,使数据路径更短、更可预测。
NVIDIA将GDS定位为一种稳健、可移植且高效的数据路径方案,覆盖本地部署与云环境。
GDS场景中,存储设备可以通过PCIe总线上的点对点(P2P)事务直接写入GPU显存(BAR空间),绕过系统内存。
利用GPUDirect Storage可在不到40毫秒内将适配器权重从NVMe流回HBM。
GPUDirect Storage(GDS)是NVIDIA于2020年前后推出的技术,允许存储设备通过PCIe总线直接将数据写入GPU显存,绕过CPU和系统内存的中转
还有 2 条时间轴事件
全部知识事实 (13)
Nvidia的GPUDirect Storage技术允许NVMe设备与GPU显存之间直接进行P2P数据传输,可将快照恢复的I/O带宽提升至接近PCIe物理上限
75%待验证GDS更适合存储访问频繁、数据量大的场景,例如大规模训练数据加载和需要高吞吐读取的推理流水线;对于I/O需求较轻的应用,投入配置与验证的成本未必能换来明显收益。
50%待验证要支持GDS的P2P路径,需要芯片组和PCIe交换机具备P2P转发能力,且GPU与存储设备位于同一PCIe根复合体下或经过支持ACS的交换结构。
50%待验证部署GDS前需要确认GPU架构是否在支持范围内、存储设备是否支持直接内存访问、文件系统是否已挂载并具备相应能力。
50%待验证cuFile驱动层会根据文件系统类型、打开模式和内存类型自动选择GDS路径或回退到兼容路径(如通过系统内存bounce buffer)。
50%待验证即使GDS组件安装正确,若应用仍使用传统POSIX I/O(如read()/write()),数据也不会走直连通道,因此配置验证必须包含应用侧检查。
50%待验证GDS通过直接内存访问(DMA)建立存储到GPU的直连通道,使数据路径更短、更可预测。
50%待验证NVIDIA将GDS定位为一种稳健、可移植且高效的数据路径方案,覆盖本地部署与云环境。
50%待验证GDS场景中,存储设备可以通过PCIe总线上的点对点(P2P)事务直接写入GPU显存(BAR空间),绕过系统内存。
50%待验证GPUDirect Storage(GDS)是NVIDIA于2020年前后推出的技术,允许存储设备通过PCIe总线直接将数据写入GPU显存,绕过CPU和系统内存的中转
50%待验证cuObject将GDS的思想延伸至对象存储协议层,在协议层面重新设计数据通路以提升对象存储访问效率
50%待验证cuObject的思路与NVIDIA此前的GPUDirect Storage一脉相承,核心是缩短数据从存储到计算单元的路径并减少CPU参与
50%待验证利用GPUDirect Storage可在不到40毫秒内将适配器权重从NVMe流回HBM。
50%