[控场AI]
概念PagedAttention

分页注意力

一种更省内存的注意力算法,将 KV 缓存切分成固定大小的块,在显存中不连续存放,从而支持更大的批次和更高吞吐

来源文章