NVMe SSD
采用NVMe协议的固态硬盘，具备高容量、低成本、较快读写速度的特性，在AI推理领域被用于扩展模型存储容量以替代昂贵的显存和内存
核心事实
时间轴 (近 90 天)
DMA允许外设（如NVMe SSD或网卡）在不经过CPU逐字节搬运的情况下，直接与系统内存或设备内存交换数据。
Janas 类流式加载方案对 NVMe 有强依赖，在 SATA 盘上随机读取延迟过高会导致推理速度跌到不可用的程度。
计算与存储分离的思路（冷数据用 DAS 加机械硬盘，热数据和系统盘用 NVMe SSD）既控制成本又保留升级灵活性
现代 NVMe SSD 的随机读取延迟已降至 100 微秒以内，是 Solid 系列敢于用数据库替代 Redis 的关键前提
存算分离架构下数据访问需跨越网络边界，即便在同一可用区内网络往返延迟也比本地 NVMe SSD 高出一到两个数量级
128GB DDR5内存能完整加载70B级别模型的所有权重，但速度约为2-5 tokens/s
全部知识事实 (7)
主流NVMe SSD的顺序读取速度可达3500-7000MB/s
75%已验证128GB DDR5内存能完整加载70B级别模型的所有权重，但速度约为2-5 tokens/s
65%待验证DMA允许外设（如NVMe SSD或网卡）在不经过CPU逐字节搬运的情况下，直接与系统内存或设备内存交换数据。
50%待验证Janas 类流式加载方案对 NVMe 有强依赖，在 SATA 盘上随机读取延迟过高会导致推理速度跌到不可用的程度。
50%待验证计算与存储分离的思路（冷数据用 DAS 加机械硬盘，热数据和系统盘用 NVMe SSD）既控制成本又保留升级灵活性
50%待验证现代 NVMe SSD 的随机读取延迟已降至 100 微秒以内，是 Solid 系列敢于用数据库替代 Redis 的关键前提
50%待验证存算分离架构下数据访问需跨越网络边界，即便在同一可用区内网络往返延迟也比本地 NVMe SSD 高出一到两个数量级
50%