待验证50% 置信事实精确时间

传统 LLM 推理中为每个请求预分配连续显存的 KV 缓存方式，实际显存利用率往往不足 50%

1

来源数

50%

置信度

长期有效

时效性

2026/9/7

首次发现

来源

vLLM v0.29.0rc4发布：修复TRT-LLM推理同步瓶颈详解

涉及实体

PagedAttentionconcept

相关事实

待验证传统推理框架中每个请求的 KV Cache 需预分配等长连续显存，显存利用率通常仅有 20%-40%，PagedAttention 可将其提升到接近 100%79% 相似待验证传统 LLM 推理中因需按最大长度预留显存，KV Cache 的实际利用率通常不到 30%73% 相似待验证传统推理框架为每个请求预分配连续 KV Cache 显存块导致平均浪费率高达 60–80%71% 相似待验证推理时的KV缓存、激活值缓冲区和中间计算状态会额外占用30%-50%显存70% 相似待验证传统KV Cache分配方案因按最大序列长度预分配连续显存块，导致平均显存利用率仅20%-40%69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/869511

API

curl https://kongchang.com/api/v1/knowledge/claims/869511

MCP

get_claim(id=869511)