待验证50% 置信基准精确时间
Inferentia2和Trainium的内存带宽是NVIDIA L4的2.0到2.7倍，但解码速度只有L4的0.28倍。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至：2027/1/10
来源
涉及实体
相关事实
已验证NVLink 4.0的双向带宽可达900GB/s，而跨节点InfiniBand HDR仅约50GB/s，差距近20倍63% 相似待验证在RTX 3060上，开发者用Triton手写的面向batch-1解码的融合W4A16 GEMV内核速度约为25.5 tok/s，追平了bitsandbytes NF4量化方案的约25.7 tok/s。63% 相似已验证LLaMA-2-7B使用FP16精度时每个token的KV Cache约占0.5MB62% 相似待验证UP主在4G显存电脑上实测MiniCPM-2B生成速度达每秒57个token，首字生成仅0.22秒62% 相似待验证约25GB的Q3模型完全在RTX 4090显存（带宽约1TB/s）运行理论上每秒约40个token，而在DDR5内存（约80GB/s）中运行降至每秒1-3个token61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1011100API
curl https://kongchang.com/api/v1/knowledge/claims/1011100MCP
get_claim(id=1011100)