待验证50% 置信事实精确时间

NVIDIA A100的显存带宽为2TB/s，加载280GB的FP32模型需要约140ms，仅权重加载就决定了每秒最多生成约7个token

1

来源数

50%

置信度

长期有效

时效性

2026/8/8

首次发现

来源

图解量化：大语言模型压缩核心技术详解

相关事实

已验证NVIDIA A100的HBM2e容量为80GB，H100为80GB HBM3，H200为141GB77% 相似已验证NVIDIA H20 的 BF16 峰值算力约为 296 TFLOPS，相比 H100 的 989 TFLOPS 大幅削减，但保留了 141GB HBM3 显存与 4.0 TB/s 显存带宽76% 相似待验证NVIDIA H100的HBM显存带宽约为3.35 TB/s，在自回归生成任务中利用率往往不足10%75% 相似待验证NVIDIA H100搭载的HBM3提供约3.35TB/s内存带宽，而DDR6预计单通道最高带宽约256GB/s75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/707908

API

curl https://kongchang.com/api/v1/knowledge/claims/707908

MCP

get_claim(id=707908)