预训练
大语言模型能力形成的根本阶段，通过在海量文本语料上进行自监督学习（通常为下一个词预测任务）使模型习得语言规律、世界知识和推理模式，决定模型的能力上限
核心事实
时间轴 (近 90 天)
预训练是在海量无标注文本上通过自监督学习（如预测下一个词）让模型习得语言规律和世界知识，成本极高。
HotPOT将方程已知的数值结构作为不可训练的固定组件嵌入专家，让可学习部分专注于数值更新无法直接给出的量，这是一条不同于堆参数、堆数据的预训练改进路径。
从技术难度上看，微调的技术门槛低于蒸馏，蒸馏又低于预训练。
李锦老师建议FDE技术进阶路径为：先做AI智能体开发，再深入模型微调、蒸馏和预训练。
预训练显著减少了超越固定配置所需的更新次数（约减半）。
Nathan Lambert认为预训练科学本身门槛并不高，不需要花十亿美元就能得到一个很好的基础模型；许多新创公司基于Megatron等开源工具分叉训练模型。
预训练需要数千张GPU和数百万美元级投入，通常只有模型厂商或极少数头部企业会涉足。
预训练指在海量无标注文本上从零训练基础模型，成本动辄数百万美元、需要数千张 GPU。
相比 SFT，RL 训练更不稳定、对超参更敏感，也更吃算力。
预训练阶段模型学习的是各种倾向之间的统计关系，这些关系跨越整个语料形成，而不存在于任何单篇文档中。
还有 23 条时间轴事件
全部知识事实 (20)
大语言模型的预训练过程需要数千块高端GPU并行运算数月，耗资通常在数千万到数亿美元之间
90%已验证大语言模型通过在数千亿乃至数万亿个词元（Token）的文本数据上进行自监督预训练
80%已验证当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证强化学习训练是模型从通用语言能力迈向精准任务执行的关键阶段，在大规模预训练之后通过强化学习进一步优化推理、规划和指令遵循能力
75%已验证预训练模型是指在大规模数据集上预先训练好的模型，用户可以直接微调或调用来完成特定任务
75%已验证上下文学习最初在大语言模型中被观察到，其能力本质源于预训练数据的多样性
75%已验证大模型训练经历三个核心阶段：预训练、有监督微调（SFT）和偏好对齐
75%已验证仅用成功轨迹训练的模型往往存在分布外泛化的严重缺陷，遇到工具返回错误时便丧失纠偏能力
70%已验证混合精度训练和梯度累积等技术可以在有限GPU内存下训练更大模型
65%待验证训练数据在输入模型前会经过严格的去重、过滤和质量筛选，低质量内容、重复文本、有害内容会被剔除
90%待验证预训练阶段的语言模型只学会续写文本，并不理解回答问题或遵循指令的概念
60%待验证AI的训练过程分为三个阶段：预训练、后训练和对齐
55%待验证预训练是在海量无标注文本上通过自监督学习（如预测下一个词）让模型习得语言规律和世界知识，成本极高。
50%待验证HotPOT将方程已知的数值结构作为不可训练的固定组件嵌入专家，让可学习部分专注于数值更新无法直接给出的量，这是一条不同于堆参数、堆数据的预训练改进路径。
50%待验证从技术难度上看，微调的技术门槛低于蒸馏，蒸馏又低于预训练。
50%待验证李锦老师建议FDE技术进阶路径为：先做AI智能体开发，再深入模型微调、蒸馏和预训练。
50%待验证预训练显著减少了超越固定配置所需的更新次数（约减半）。
50%待验证Nathan Lambert认为预训练科学本身门槛并不高，不需要花十亿美元就能得到一个很好的基础模型；许多新创公司基于Megatron等开源工具分叉训练模型。
50%待验证预训练需要数千张GPU和数百万美元级投入，通常只有模型厂商或极少数头部企业会涉足。
50%