已验证65% 置信观点精确时间
由于Transformer自注意力机制存在位置偏向性,早期输入内容对后续生成具有更强锚定作用,这是系统提示上下文锚定效应的底层原因
3
来源数
65%
置信度
长期有效
时效性
2026/7/19
首次发现
来源
相关事实
待验证Transformer注意力层存在位置偏置,模型对序列起始位置(primacy bias)和末尾位置(recency bias)的关注天然高于中间段落82% 相似待验证各向异性现象的根源在于Transformer的自注意力机制和残差连接结构,使高频词的梯度信号主导嵌入空间整体方向81% 相似已验证Transformer架构的注意力机制中,序列长度增加时早期token的注意力得分在softmax归一化后被后续token稀释,形成注意力沉没效应79% 相似待验证文字指令先于图像输入时,Transformer的交叉注意力机制使模型在编码图像时已形成明确的查询向量,优先激活与目标语义相关的视觉区域77% 相似待验证研究发现Transformer不同层之间存在高度相似的特征表示,许多注意力头对最终性能的贡献可忽略不计77% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/565064API
curl https://kongchang.com/api/v1/knowledge/claims/565064MCP
get_claim(id=565064)