后训练

「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）

RL阶段每一步训练需要同时运行推理（生成rollout）和反向传播（更新权重），因此算力需求远高于普通微调

预训练模型是指在大规模数据集上预先训练好的模型，用户可以直接微调或调用来完成特定任务

微调通常只需原始训练成本的百分之一甚至更少，便能获得接近专用模型的领域表现

自监督学习是预训练阶段的核心范式，模型通过下一个词预测任务从数据本身构造训练信号

后训练阶段使用几万对到几十万对'用户请求+标准回答'的配对数据来训练模型理解人类指令意图

从预训练检查点到可商用产品需经历监督式指令微调（SFT）和基于人类反馈的强化学习（RLHF）两个后训练阶段

一个典型的后训练流水线是：预训练 → 监督微调（SFT）→ 偏好优化（RLHF / DPO / GRPO）

AI的训练过程分为三个阶段：预训练、后训练和对齐

后训练指模型在预训练之后经历的指令微调、RLHF 或 Constitutional AI 等阶段，不同厂商的后训练会塑造出不同的失败模式。

训练追求极致性能和互联带宽，生态锁定强；推理则更看重单位成本、能效比和部署灵活性。

作者指出CLE数据集不仅可用于评测，还可用于后训练，以强化LLM的持续学习能力。

训练环境和评估基准使用相同技术组件但目的不同：训练中的分数是奖励（评判标准是能否让模型变强），评估中的分数是测量（评判标准是可靠、有效、能预测部署后真实表现）。

后训练的效果高度依赖数据质量和目标设计，平台解决的是“跑得动”的问题，而非“训得好”的全部。

Web 原生模型的后训练目标包括解析 DOM 结构、定位可交互元素、判断下一步点击或输入的位置、以及在页面状态异常时回退重试。

后训练是大语言模型从预训练完成到真正可用之间的关键环节，涵盖监督微调（SFT）、指令对齐、RLHF/DPO 等技术手段

业界近年积极探索后训练、强化学习与推理时扩展等替代路径，根本原因之一是预训练Scaling Law的边际回报递减

一个参数更少但用更多Token充分训练的模型，虽然训练时看似过度训练，却能在推理阶段显著降低成本，因为推理开销主要由参数量决定

针对特定任务收集独特数据再进行后训练（post-train），往往能以更低成本换来更高准确率

压缩思考长度的常见做法是构造短思考-正确答案配对数据进行SFT，或设计长度惩罚奖励函数进行强化学习训练