已验证65% 置信基准精确时间
若带宽达到2.4TB/s，100GB模型理论速度上限可达24 token/s，60GB模型40 token/s，35GB模型接近69 token/s
3
来源数
65%
置信度
中期 (~90 天)
时效性
2026/9/23
首次发现
有效期至：2026/12/22
来源
涉及实体
相关事实
待验证以70B的BF16模型为例，产生一个token需读入约140GB权重，打满H100的3.35TB/s显存带宽时每token延迟至少42毫秒，理论TPS上限约24 token/秒78% 相似待验证对于70B模型（序列长度2048、隐藏层维度8192），每层激活值约32MB，在InfiniBand(400Gbps)中约需0.6毫秒，而在50Mbps家庭宽带下需超过5秒78% 相似待验证官方估计24GB显卡约能跑100~140 tokens/秒78% 相似待验证在NVIDIA L4上，bf16模型（6.32 GiB）的内存带宽理论上限约47 Token/s，而int4模型（2.85 GiB）理论上限约105 Token/s，实测最高达到131.9 Token/s。76% 相似待验证在配备96GB显存的M2 Max上以1-bit精度运行时，简单任务生成速度稳定在约28-30 tokens/秒75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/945144API
curl https://kongchang.com/api/v1/knowledge/claims/945144MCP
get_claim(id=945144)