待验证50% 置信事实精确时间
2024年MIT等机构提出的测试时训练（TTT）架构尝试用线性注意力层替代部分Transformer层，使权重成为可在推理时快速更新的隐式记忆
1
来源数
50%
置信度
长期有效
时效性
2026/7/17
首次发现
来源
相关事实
待验证FNet（2021）用傅里叶变换替代Transformer中的自注意力机制，在保持92%性能的同时将训练速度提升7倍71% 相似待验证Transformer 通过并行计算所有位置之间的注意力权重，解决了长距离依赖问题并提升训练效率，为 GPT、BERT、Claude 等大模型奠定基础69% 相似已验证与RNN/LSTM架构相比，Transformer在训练时可以高度并行化，使训练数千亿参数的模型成为可能67% 相似待验证少样本示例（Few-shot Prompting）的工作原理基于Transformer注意力机制，无需更新模型权重，被称为上下文学习（In-context Learning）66% 相似待验证Transformer支持并行训练，是相对RNN/LSTM的重要突破，代表性模型为Google的BERT66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/541221API
curl https://kongchang.com/api/v1/knowledge/claims/541221MCP
get_claim(id=541221)