待验证50% 置信事实精确时间

传统LLM推理框架为每条请求预分配连续显存导致内存碎片，GPU实际利用率往往不足50%

1

来源数

50%

置信度

长期有效

时效性

2026/9/22

首次发现

来源

Shopify如何用PyTorch与vLLM打造持续学习闭环，成本降96%

涉及实体

KV Cacheconcept

相关事实

待验证传统LLM推理中KV缓存的实际利用率往往不足50%，PagedAttention可提升至接近100%76% 相似待验证传统 LLM 推理中为每个请求预分配连续显存的 KV 缓存方式，实际显存利用率往往不足 50%75% 相似已验证自回归解码阶段GPU算力利用率往往不足10%，属于内存密集型操作74% 相似待验证每个中间推理token与输出token消耗等量的GPU算力，Extra High档位单次请求FLOPs可能是普通生成模式的数十倍74% 相似待验证单条推理通常只能占用GPU SM利用率的5%～15%，而合理的批次大小可将利用率提升至60%～90%71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/940741

API

curl https://kongchang.com/api/v1/knowledge/claims/940741

MCP

get_claim(id=940741)