待验证60% 置信事实时间未知
2018年BERT预训练模型问世，通过在海量文本上预训练，模型能够捕捉词语在不同语境下的细微含义差异
2
来源数
60%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
AI智能体入门指南：核心原理、技术架构与应用场景全解析
bilibili大模型教程
涉及实体
相关事实
已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律79% 相似待验证BERTScore使用预训练语言模型的上下文嵌入，计算参考句与预测句词语间的余弦相似度，汇总为precision、recall、F1。77% 相似待验证Sentence Transformers是在BERT、XLM-R等预训练模型之上做对比学习微调的框架，训练目标是让语义相似的句子向量彼此靠近。74% 相似待验证研究者在相同语料上训练了小型掩码扩散语言模型与计数式预测进行对照74% 相似待验证LLM的预训练本质是在海量文本上进行下一词预测（Next Token Prediction），通过Transformer架构的注意力机制建立词语间语义关联74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/18902API
curl https://kongchang.com/api/v1/knowledge/claims/18902MCP
get_claim(id=18902)