待验证70% 置信事实精确时间
TensorRT支持FP32/FP16/INT8/FP8多种精度校准
2
来源数
70%
置信度
长期有效
时效性
2026/7/10
首次发现
来源
TensorRT多设备推理：突破单GPU显存瓶颈的工程实践
rss2026/6/25
相关事实
已验证在配备 Tensor Core 的 NVIDIA GPU（如 A100、H100）上，FP16/BF16 矩阵运算的吞吐量可以达到 FP32 的 2-8 倍77% 相似待验证TensorRT-LLM内置对NVFP4等量化格式的端到端支持，包括量化权重自动解包、混合精度推理调度及算子融合优化75% 相似待验证V100的Tensor Core在FP16精度下峰值算力可达125 TFLOPS，是前代Pascal架构的5倍以上75% 相似待验证FP8是Blackwell架构原生支持的低精度计算格式，包含E4M3和E5M2两种变体，Tensor Core的FP8计算吞吐是FP16的两倍74% 相似待验证FP32到FP16的转换在现代GPU的Tensor Core上可实现2-4倍的吞吐量提升74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/461210API
curl https://kongchang.com/api/v1/knowledge/claims/461210MCP
get_claim(id=461210)