待验证60% 置信事实精确时间
大模型推理通常处于内存带宽受限状态，llama-2-70B推理计算强度约1-2 FLOP/Byte，远低于H100峰值计算强度阈值约120 FLOP/Byte
2
来源数
60%
置信度
长期有效
时效性
2026/7/21
首次发现
来源
相关事实
待验证大语言模型自回归生成阶段属于内存带宽受限任务，单batch推理算术强度约1-2 FLOP/Byte，远低于RTX 4090的计算/带宽比约160 FLOP/Byte78% 相似待验证H100的屋顶线约为300 FLOPS/Byte，自回归推理算术强度约1-2 FLOPS/Byte，而DiffusionGemma通过并行处理将算术强度提升约256倍，从memory-bound转为compute-bound73% 相似待验证推理速度（tokens/秒）≈ 内存带宽 ÷ 模型大小67% 相似待验证大模型自回归解码阶段的算术强度很低，是典型的内存带宽敏感型负载。67% 相似已验证Stable Diffusion的Checkpoint模型通常为2-7GB，LoRA模型通常只有几十到几百MB66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/575666API
curl https://kongchang.com/api/v1/knowledge/claims/575666MCP
get_claim(id=575666)