待验证50% 置信事实精确时间
主流LLM基于Transformer架构，通过在海量文本数据上进行下一个词预测的自监督学习获得能力
1
来源数
50%
置信度
长期有效
时效性
2026/7/17
首次发现
来源
相关事实
已验证LLM基于Transformer架构采用自回归（Autoregressive）方式生成文本，每次前向传播只预测一个token，然后将该token追加到输入序列再预测下一个token81% 相似待验证LLM的预训练本质是在海量文本上进行下一词预测（Next Token Prediction），通过Transformer架构的注意力机制建立词语间语义关联81% 相似待验证基于Transformer的LLM每次推理都是独立的前向传播计算，模型权重在推理阶段固定不变，所谓的上下文记忆本质上是将历史对话文本重新注入提示词77% 相似已验证当前主流大语言模型本质上是基于Transformer架构的概率预测系统，通过预测下一个最可能的Token来生成内容77% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/547480API
curl https://kongchang.com/api/v1/knowledge/claims/547480MCP
get_claim(id=547480)