待验证50% 置信事实精确时间
IQuest-Q1 采用 3 层滑动窗口注意力搭配 1 层完整注意力的混合比例，在 88 层中只有 25 层会随上下文增长扩展 KV 缓存
1
来源数
50%
置信度
长期有效
时效性
2026/10/4
首次发现
来源
涉及实体
相关事实
待验证压缩吸收注意力为每一层分配全量、重索引、复用三种模式之一，实现层间共享KV缓存76% 相似已验证Multi-Query Attention技术让多个注意力头共享同一组Key和Value投影矩阵，将KV缓存显存需求压缩至原来的1/H，代价是模型表达能力的轻微损失75% 相似待验证四维张量通常出现在多头注意力机制中，将维度平均切成若干份后按四维张量方式排列处理75% 相似待验证Qwen3 27B将三层线性注意力与一层完整注意力组合成循环结构，比例为3:175% 相似待验证标准自注意力的计算复杂度为序列长度的平方，实现百万Token上下文需引入稀疏注意力、滑动窗口注意力及KV Cache压缩等技术73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/972270API
curl https://kongchang.com/api/v1/knowledge/claims/972270MCP
get_claim(id=972270)