KV-cache
KV缓存是Transformer模型推理时用于存储键值对以加速自回归生成的技术，可减少重复计算
核心事实
时间轴 (近 90 天)
KV-Surgeon是一种利用校准数据考虑缓存条目间交互的离线KV-cache压缩方法，通过推导二次代理模型进行联合贪心删除决策并在剩余条目中进行补偿。
KV-cache复用前提是前缀稳定，GraphRAG将图结构压平为线性文本导致每次查询上下文前缀几乎不同，缓存命中率极低。
KV-cache大小与序列token数成正比，直接决定单卡可并发请求数；更多token意味着每个用户占用更大KV-cache，同张GPU可并发用户数成比例缩水。
HSQ-A 通过轻量打分网络筛选出约 15% 的高影响 key，并将剩余 value 以 FP8 格式存储，从而将 KV-cache 从稠密 70B 模型常见的 0.8 GB/k 压缩到 0.12 GB/k，压缩比约 85%。
实现LLM流式响应即时取消需要一条不间断的信号传播链：客户端AbortController.abort()触发HTTP fetch拆除，网关通过server context检测socket关闭并取消上游请求context，模型推理运行时捕获断连停止自回归生成并释放KV-cache
上下文越长，KV 缓存线性增长，显存带宽和容量成为推理吞吐的主要瓶颈。
KVCache是Transformer架构中缓存之前所有token的Key和Value向量以避免重复计算的机制，其显存占用随上下文长度线性增长
归一化流与大语言模型共享相同的因果掩码（causal mask）、KV-cache缓存机制，以及一致的从左到右序列生成结构
自回归解码阶段每生成一个新token都需读取完整KV Cache，使解码阶段几乎总是受限于内存带宽而非计算能力
全部知识事实 (9)
上下文越长，KV 缓存线性增长，显存带宽和容量成为推理吞吐的主要瓶颈。
75%已验证KVCache是Transformer架构中缓存之前所有token的Key和Value向量以避免重复计算的机制，其显存占用随上下文长度线性增长
75%已验证自回归解码阶段每生成一个新token都需读取完整KV Cache，使解码阶段几乎总是受限于内存带宽而非计算能力
75%待验证KV-Surgeon是一种利用校准数据考虑缓存条目间交互的离线KV-cache压缩方法，通过推导二次代理模型进行联合贪心删除决策并在剩余条目中进行补偿。
50%待验证KV-cache复用前提是前缀稳定，GraphRAG将图结构压平为线性文本导致每次查询上下文前缀几乎不同，缓存命中率极低。
50%待验证KV-cache大小与序列token数成正比，直接决定单卡可并发请求数；更多token意味着每个用户占用更大KV-cache，同张GPU可并发用户数成比例缩水。
50%待验证HSQ-A 通过轻量打分网络筛选出约 15% 的高影响 key，并将剩余 value 以 FP8 格式存储，从而将 KV-cache 从稠密 70B 模型常见的 0.8 GB/k 压缩到 0.12 GB/k，压缩比约 85%。
50%待验证实现LLM流式响应即时取消需要一条不间断的信号传播链：客户端AbortController.abort()触发HTTP fetch拆除，网关通过server context检测socket关闭并取消上游请求context，模型推理运行时捕获断连停止自回归生成并释放KV-cache
50%待验证归一化流与大语言模型共享相同的因果掩码（causal mask）、KV-cache缓存机制，以及一致的从左到右序列生成结构
50%