已验证70% 置信事实精确时间

Transformer的核心创新是自注意力机制，GPT、Claude、Gemini等主流大模型均基于Transformer构建

4

来源数

70%

置信度

长期有效

时效性

2026/7/10

首次发现

来源

Vibe Coding进阶：SuperPowers与GStack让AI编码真正收敛

bilibili码士集团-踢踢2026/7/9

相关事实

待验证注意力漂移问题在Claude、GPT等所有主流Transformer架构模型上普遍存在，是当前Agent工程领域的核心挑战之一79% 相似已验证BERT、GPT系列、LLaMA、Claude均以Transformer为基础构建78% 相似已验证当前所有主流大模型（GPT、BERT、LLaMA等）都基于Transformer架构78% 相似待验证Transformer是2017年论文《Attention Is All You Need》提出的序列建模架构，核心是自注意力机制，是BERT、GPT等模型的基础76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/472393

API

curl https://kongchang.com/api/v1/knowledge/claims/472393

MCP

get_claim(id=472393)