RDMA
一种允许计算机直接访问另一台计算机内存的技术，无需操作系统介入，可显著降低延迟并提升高性能计算和分布式系统中的数据传输效率
核心事实
时间轴 (近 90 天)
内存池化（Memory Pooling）指将多台物理服务器上的内存通过高速互联（如RDMA、CXL）整合为逻辑统一的共享内存池，按需动态分配。
TIDE-AG利用NVSwitch多播和节奏化递归倍增RDMA，将分片直接递送到参数存储，传输和放置过程完全不占用SM。
GDS依赖支持直接I/O的本地NVMe设备，或经过认证的网络存储方案（如基于RDMA的并行文件系统）。
DeepEP 是为 MoE 全员对全员通信设计的库，同一台机器内走 NVLink，跨机器走 RDMA，支持 FP8 传输，最新第二版将训练/预填充高吞吐与解码低延迟两种用法合并到一个接口。
HTTP 协议相比专有 RPC 更易调试、更易被各类语言栈接入，代价是在超低延迟场景下可能不如共享内存或 RDMA 方案，具体取舍要看协议实现是否支持批量与流式传输。
RDMA 绕过操作系统和 CPU 由网卡硬件直接完成内存搬运，实现微秒级延迟和极低 CPU 开销；Apple 在 macOS 26.2 引入 Thunderbolt 5 RDMA 驱动。
跨节点LLM推理的可行性根本上受网络互连延迟约束：在标准以太网上运行跨节点张量并行会引入巨大同步延迟，只有具备低延迟RDMA或高速专用链路才具备实用价值。
Modal 集群最多支持 32 个节点和 256 块 GPU，配备 3,200 Gbps RDMA 网络（B300 上为 6,400 Gbps），采用帮派调度并物理同地部署，每个节点必须使用其所有 GPU。
RDMA允许一台机器直接读写另一台机器的内存，绕过操作系统内核和CPU的介入，降低延迟
GPU发起的网络通信依赖于GPUDirect RDMA和RDMA两项关键底层技术
还有 7 条时间轴事件
全部知识事实 (20)
RDMA允许网卡绕过CPU和OS直接在两台机器内存间搬运数据，延迟可降至微秒级，几乎不占用CPU资源
75%已验证Cube Studio支持RDMA高速网络用于大规模分布式训练的通信优化
75%待验证Mooncake通过RDMA网络实现近乎零拷贝的跨节点KV Cache共享
85%待验证RDMA技术可以将网络通信延迟降低到亚微秒级，在大规模分布式训练中可将训练效率提升20%-50%
75%待验证在千亿参数大模型训练中，节点间通信开销可能占总训练时间的30%-50%
60%待验证内存池化（Memory Pooling）指将多台物理服务器上的内存通过高速互联（如RDMA、CXL）整合为逻辑统一的共享内存池，按需动态分配。
50%待验证TIDE-AG利用NVSwitch多播和节奏化递归倍增RDMA，将分片直接递送到参数存储，传输和放置过程完全不占用SM。
50%待验证GDS依赖支持直接I/O的本地NVMe设备，或经过认证的网络存储方案（如基于RDMA的并行文件系统）。
50%待验证DeepEP 是为 MoE 全员对全员通信设计的库，同一台机器内走 NVLink，跨机器走 RDMA，支持 FP8 传输，最新第二版将训练/预填充高吞吐与解码低延迟两种用法合并到一个接口。
50%待验证HTTP 协议相比专有 RPC 更易调试、更易被各类语言栈接入，代价是在超低延迟场景下可能不如共享内存或 RDMA 方案，具体取舍要看协议实现是否支持批量与流式传输。
50%待验证RDMA 绕过操作系统和 CPU 由网卡硬件直接完成内存搬运，实现微秒级延迟和极低 CPU 开销；Apple 在 macOS 26.2 引入 Thunderbolt 5 RDMA 驱动。
50%待验证跨节点LLM推理的可行性根本上受网络互连延迟约束：在标准以太网上运行跨节点张量并行会引入巨大同步延迟，只有具备低延迟RDMA或高速专用链路才具备实用价值。
50%待验证Modal 集群最多支持 32 个节点和 256 块 GPU，配备 3,200 Gbps RDMA 网络（B300 上为 6,400 Gbps），采用帮派调度并物理同地部署，每个节点必须使用其所有 GPU。
50%待验证GPU发起的网络通信依赖于GPUDirect RDMA和RDMA两项关键底层技术
50%待验证RDMA允许一台机器直接读写另一台机器的内存，绕过操作系统内核和CPU的介入，降低延迟
50%待验证RoCE是RDMA在标准以太网上的实现，相比需要专用InfiniBand网络的传统RDMA部署成本更低
50%待验证RDMA对网络无损（无丢包）环境要求极高，需要配合优先级流控（PFC）等机制，运维复杂度高于TCP
50%待验证Homa的目标之一是在普通以太网上实现接近RDMA的低延迟性能，同时降低对网络无损特性的依赖
50%待验证GIN通过在GPU内核中直接调用RDMA原语，消除CPU往返调度的固定开销
50%待验证DGX Spark上CX7网卡号称1.5微秒延迟，但因RDMA需绕CPU到GPU，实际延迟约20微秒
50%