已验证75% 置信权衡取舍精确时间
Multi-Query Attention技术让多个注意力头共享同一组Key和Value投影矩阵，将KV缓存显存需求压缩至原来的1/H，代价是模型表达能力的轻微损失
3
来源数
75%
置信度
长期有效
时效性
2026/7/19
首次发现
来源
相关事实
待验证压缩吸收注意力为每一层分配全量、重索引、复用三种模式之一，实现层间共享KV缓存77% 相似已验证自注意力机制允许模型在处理每个Token时同时看到输入序列中所有其他Token的信息，注意力矩阵计算复杂度为O(n²)76% 相似已验证自注意力机制通过将输入映射为Query、Key和Value三组向量，计算点积相似度后softmax归一化，再对Value加权求和生成融合全局上下文的表示76% 相似待验证现有主流稀疏注意力方法通过保留注意力矩阵中数值较大的条目或高质量区域来筛选交互75% 相似待验证IQuest-Q1 采用 3 层滑动窗口注意力搭配 1 层完整注意力的混合比例，在 88 层中只有 25 层会随上下文增长扩展 KV 缓存75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/563104API
curl https://kongchang.com/api/v1/knowledge/claims/563104MCP
get_claim(id=563104)