待验证50% 置信事实精确时间
vLLM 使用 Prefix Caching（前缀缓存）技术来复用相同前缀请求的 KV Cache
1
来源数
50%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证vLLM的ModelRunner在分配KV Cache显存时使用int8类型按字节分配无类型的字节数组71% 相似待验证vLLM在前缀缓存与DFlash2同时开启时存在bug，会将最后一个缓存单元(约16 token的混合布局块)直接丢弃并重新计算70% 相似待验证vLLM采用PagedAttention技术管理KV Cache，其内存分配与请求调度引入运行时不确定性67% 相似待验证vLLM、TensorRT-LLM等LLM推理服务通过KV Cache机制在单次请求内缓存中间注意力计算结果，但该缓存是请求级别的，HTTP连接关闭后即被释放67% 相似待验证vLLM采用连续批处理技术允许不同用户请求在同一GPU批次中并行处理，提升吞吐量的同时使请求间内存边界管理更精细61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/898499API
curl https://kongchang.com/api/v1/knowledge/claims/898499MCP
get_claim(id=898499)