已验证65% 置信事实精确时间
自监督学习是预训练阶段的核心范式，模型通过下一个词预测任务从数据本身构造训练信号
3
来源数
65%
置信度
长期有效
时效性
2026/7/16
首次发现
来源
相关事实
已验证预训练模型是指在大规模数据集上预先训练好的模型，用户可以直接微调或调用来完成特定任务87% 相似待验证预训练阶段模型通过自监督学习方式（通常是下一个 token 预测任务）在海量文本语料（通常达数万亿 token 规模）上进行训练79% 相似待验证Pre-train & Fine-tune是当前大模型的核心训练范式，预训练完成通用知识学习后，微调阶段只需少量数据和计算资源即可适配不同任务78% 相似待验证强化学习训练是模型从通用语言能力迈向精准任务执行的关键阶段，在大规模预训练之后通过强化学习进一步优化推理、规划和指令遵循能力78% 相似待验证自监督学习通过从数据自身构造监督信号，已成为 BERT、GPT、MAE 等大规模预训练模型的核心训练策略78% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/530831API
curl https://kongchang.com/api/v1/knowledge/claims/530831MCP
get_claim(id=530831)