待验证50% 置信事实精确时间
研究表明(Dettmers et al., 2022)，Transformer模型中特定隐藏维度会在所有token和层中持续出现异常大激活值，模型超过6.7B参数时现象更显著
1
来源数
50%
置信度
长期有效
时效性
2026/8/7
首次发现
来源
相关事实
待验证Transformer模型中首尾几层对量化更敏感，中间层冗余度更高，注意力层和前馈网络层对量化的容忍度不同75% 相似待验证Transformer的KV Cache随序列长度呈二次方增长，导致长上下文推理对GPU显存的非线性消耗70% 相似待验证Transformer 模型存在'远端衰减'（Lost in the Middle）现象，对位于上下文中段、距离当前生成位置较远的内容关注度会系统性下降70% 相似待验证当前Transformer架构在处理分散于超长上下文中的隐式约束时存在根本性局限，导致修改代码时引入隐蔽bug68% 相似待验证Transformer模型存在位置偏差，对中间位置信息的检索能力尤其薄弱，即lost in the middle问题67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/705555API
curl https://kongchang.com/api/v1/knowledge/claims/705555MCP
get_claim(id=705555)