[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
PagedAttention
分页注意力
一种更省内存的注意力算法,将 KV 缓存切分成固定大小的块,在显存中不连续存放,从而支持更大的批次和更高吞吐
来源文章
本地跑大模型工具怎么选?五大主流方案一次讲清
11月5日