待验证50% 置信事实精确时间
Gated Delta Net是一种线性注意力变体，使用可更新的状态矩阵代替传统注意力中的键值缓存，在长序列上内存占用恒定，但压缩过程天然有损。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
涉及实体
相关事实
待验证线性注意力类架构使用固定维度的循环状态累积历史信息，该状态是已读上下文的有损压缩，维度远小于原始 KV 缓存。69% 相似待验证有界遗忘（bounded forgetting）指记忆检索空间不应无限增长，而应让不再相关的记录按计划退役；无界记忆会导致短查询面对越来越多长记录，检索效果隐性退化。63% 相似待验证在自回归解码中，注意力层通常缓存所有历史 token 的 Key 和 Value（KV Cache），显存随序列长度线性增长，但每步只需追加、无需重算；SSM 层则只保留固定大小的状态。62% 相似待验证BW-Tree 的 Delta 更新通过 CAS 使映射表指针指向增量修改节点，构建成本极低，但会导致读取时需线性遍历 Delta 链，损害读性能62% 相似待验证Token上下文窗口的遗忘效应是AI在连调阶段发明不存在接口的深层技术原因，当上下文窗口被填满时模型会开始遗忘早期信息61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1121143API
curl https://kongchang.com/api/v1/knowledge/claims/1121143MCP
get_claim(id=1121143)