待验证60% 置信基准精确时间
NVIDIA A100的理论FP16峰值算力约为312 TFLOPS，但朴素LLM推理场景下GPU利用率常不足30%
2
来源数
60%
置信度
长期有效
时效性
2026/7/11
首次发现
来源
vLLM推理框架详解：吞吐优化核心原理与面试攻略
bilibiliAI大模型升升2026/6/9
相关事实
已验证NVIDIA H100单卡FP64双精度浮点性能达到约34 TFLOPS82% 相似待验证NVIDIA H100的FP16峰值可达1000 TFLOPS，但训练Transformer模型时MFU通常只有30%-60%79% 相似待验证以FP16半精度计算，RTX 4090理论算力约为330 TFLOPS，M2 Ultra的GPU算力约为27.2 TFLOPS76% 相似已验证NVIDIA H20 的 BF16 峰值算力约为 296 TFLOPS，相比 H100 的 989 TFLOPS 大幅削减，但保留了 141GB HBM3 显存与 4.0 TB/s 显存带宽76% 相似待验证T4 GPU拥有16GB显存和8.1 TFLOPS的FP32算力74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/488591API
curl https://kongchang.com/api/v1/knowledge/claims/488591MCP
get_claim(id=488591)