待验证50% 置信事实精确时间
BasisKV复用压缩后的Value缓存来预测Key路由所需的部分信息,只对选中的Key页回读原始Key以计算精确QK分数。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
BasisKV:低秩KV缓存压缩如何同时优化张量并行通信与关键页路由
rss2026/11/2
涉及实体
相关事实
待验证GQA 通过让多个 Query 头共享同一组 Key-Value 头,在保持模型表达力的同时降低了 KV Cache 的显存占用67% 相似待验证只缓存K和V而不缓存Q,因为Query只代表当前查询意图用完即弃,而Key和Value代表历史Token语义信息会被后续Token反复访问65% 相似待验证关键数据写入应有校验机制,比如写入后立即读回验证或定期对账记录数量,以主动发现数据丢失65% 相似待验证语义缓存通过计算新查询与历史查询的向量相似度,当超过阈值时直接返回缓存答案,GPTCache等工具实现了该机制63% 相似待验证生成式推荐通过KV Cache复用(缓存已计算的用户历史序列键值向量)避免重复计算,降低推理延迟并提升GPU利用率62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1130471API
curl https://kongchang.com/api/v1/knowledge/claims/1130471MCP
get_claim(id=1130471)