概念
PagedAttention
vLLM的核心技术创新，将GPU显存中的KV Cache管理类比为操作系统的虚拟内存分页，大幅提升显存利用率和并发吞吐量
时间轴 (近 90 天)
6月1日
PagedAttention是vLLM框架的核心技术，借鉴操作系统虚拟内存管理思想将KV Cache分页存储
已验证90%
6月1日
PagedAttention技术将显存利用率提升了2-4倍
待验证80%
6月1日
vLLM通过PagedAttention技术实现了高效的KV Cache管理，将GPU显存利用率提升数倍
已验证80%
6月1日
vLLM提出的PagedAttention机制使其吞吐量相比HuggingFace Transformers提升2-24倍
已验证75%
6月1日
vLLM由加州大学伯克利分校开发，其核心创新PagedAttention技术相比原生HuggingFace Transformers推理可实现数倍到数十倍的吞吐量提升
待验证90%
6月1日
vLLM 和 TensorRT-LLM 等现代推理框架通过连续批处理（Continuous Batching）和 PagedAttention 等技术提升 GPU 利用率
已验证65%
6月1日
vLLM的PagedAttention技术将显存碎片率从传统方案的60%-80%降至不足4%
待验证60%
6月1日
PagedAttention技术借鉴操作系统虚拟内存的分页思想，将KV Cache切分为固定大小的物理块动态分配
已验证80%
5月31日
vLLM是由UC Berkeley开发的高吞吐量大模型推理引擎，核心创新是PagedAttention技术
已验证90%