概念Key Routing
Key路由
稀疏注意力或缓存检索中的机制,先低成本预测与当前Query最相关的Key页,再仅对选中页做精确QK点积计算,以降低长上下文推理开销。
时间轴 (近 90 天)
11月3日
BasisKV复用压缩后的Value缓存来预测Key路由所需的部分信息,只对选中的Key页回读原始Key以计算精确QK分数。
待验证50%
11月3日
Key路由的两级设计为“粗路由+精打分”,即先以低成本预测哪些Key页与当前Query最相关,再只对这些页做精确的QK点积计算。
待验证50%