PCIe

传统自回归解码的瓶颈在内存带宽而非计算能力，GPU算力利用率较低

NVLink-C2C技术实现了CPU与GPU之间的高速互联

CPU offloading 策略将未被激活的专家权重常驻系统内存，仅在被路由器选中时临时加载到 GPU 显存，代价是引入 PCIe 总线传输延迟

CXL是一种基于PCIe物理层的开放互连标准，允许CPU与各类加速器、内存扩展设备之间实现高速、低延迟的缓存一致性通信

NVLink的核心目标是突破传统PCIe总线在带宽上的限制，让多个GPU之间以极高速率直接通信

专家搬运要经过PCIe等带宽受限的链路，一旦搬运不能与计算重叠，GPU就会空转等待，形成专家加载停顿。

PCIe的往返延迟在亚微秒级，而Wi-Fi的往返延迟在毫秒级（约1.5毫秒），两者相差三个数量级，这种延迟差异对游戏渲染管线是致命的。

要让远端GPU被识别为本地硬件，通常需要在内核层或驱动层实现虚拟PCIe设备，涉及地址转换、中断模拟和DMA重映射。

统一内存的访问延迟并不一致：数据位于显存时快，位于主机内存时需经PCIe/NVLink传输，形成性能波动。

GDS场景中，存储设备可以通过PCIe总线上的点对点（P2P）事务直接写入GPU显存（BAR空间），绕过系统内存。

要支持GDS的P2P路径，需要芯片组和PCIe交换机具备P2P转发能力，且GPU与存储设备位于同一PCIe根复合体下或经过支持ACS的交换结构。

传统服务器中 x86 CPU 通过 PCIe 总线连接独立 GPU。

RTX 5060 Laptop走PCIe Gen 4 x8，理论带宽约16 GB/s，远低于显存带宽，是专家卸载方案的隐形瓶颈。

Xtier利用MoE稀疏特性，将未激活专家参数留在CPU内存，只将活跃专家搬入显存，代价是专家切换需通过PCIe总线搬运数据，可能形成推理瓶颈。

GDS的核心思路是建立存储与GPU显存之间的直接DMA通道，数据从NVMe设备经PCIe交换机直接进入显存。

以单 token KV Cache 约 1 MB 估算，通过 PCIe 搬运 8K token 的缓存需数百毫秒，足以让首 token 延迟翻倍。

NVIDIA的Xid编号体系覆盖GPU硬件与固件错误，每个编号对应一类特定的故障根因，例如Xid 79表示GPU已从PCIe总线上掉线，Xid 48对应不可纠正的双比特ECC内存错误，Xid 74涉及NVLink链路故障，Xid 119/120与GSP固件超时相关。

传统PC的离散显存带宽更高，但容量受限于显卡型号，模型超出显存后需经PCIe总线搬运，速度大幅下降。

在异构后端中，PCIe 带宽通常远低于 NVLink，会成为跨设备调度的瓶颈；把草稿模型放在与目标模型同一条 PCIe 根复合体下的设备或直接放在 CPU 上，往往比跨 NUMA 节点搬运更划算。

KV cache 换入换出依赖主机内存与 GPU 显存之间的互联带宽；以 PCIe 4.0 x16 为例，单向有效带宽约 25 GB/s 量级，而单张数据中心 GPU 的 HBM 带宽可达 2–3 TB/s，相差约两个数量级。