监督学习

Machine learning is typically divided into three major paradigms: supervised learning, unsupervised learning, and reinforcement learning.

机器学习分为监督学习、非监督学习和半监督学习三大类

学习方法在数据充足时性能更强，但需要为域偏移下的鲁棒性付出代价

与依赖标注数据的监督学习不同，强化学习不需要人工提供正确答案，而是让智能体在试错过程中自主发现最优行为路径

Supervised learning training uses labeled data consisting of sample pairs of known inputs and their corresponding outputs.

仅用成功轨迹训练的模型往往存在分布外泛化的严重缺陷，遇到工具返回错误时便丧失纠偏能力

强化学习中的智能体不依赖标注数据，而是通过与环境的持续交互，依据奖励信号不断调整策略

监督学习与无监督学习的根本区别在于训练数据中是否存在标签

强化学习本质上是数据饥渴的，每一轮迭代都需要新鲜的轨迹或演示数据来学习

监督学习模型的能力受限于数据质量天花板，无法超越教师算法水平

回归用于预测连续型数值，是监督学习中最基础的部分

监督学习阶段，模型通过最小化预测值与真实标签之间的误差来调整参数。

传统结构化信息检索方法包括基于规则的模式匹配、依赖人工特征的查询重写，以及需要大量标注数据的监督学习。

技术路线之争的例子包括：模型架构上Transformer与交替使用卷积和注意力的混合架构之争；训练方式上自监督学习与监督学习的取舍；部署策略上云端大模型与端侧小模型的权衡。

探索与利用（exploration vs. exploitation）是RL区别于监督学习的核心难题：智能体需要在尝试新动作以获取信息和利用已知最优动作获取奖励之间权衡。

让引擎「像人」的常见技术路线包括监督学习人类棋谱、行为克隆以及基于人类失误分布的采样。

强化学习与监督学习的根本区别在于，数据分布会随智能体行为而变化，迫使其应对自身行动带来的后果

RLVR的优化景观与监督学习存在本质差异：奖励信号稀疏且离散，梯度估计来自采样响应，方差显著高于传统训练场景。

该研究将LLM后编辑从推理时的提示工程问题转化为监督学习问题，用oracle信息指导模型学习何时选择、何时重写。

监督学习要求人为提供标注好的数据类别，无监督学习自动对数据对象进行归类和聚类，强化学习通过奖励机制引导模型学习。