自监督学习
无需人工标注标签的机器学习范式,通过数据自身的结构构造监督信号,DINOv2等模型的训练方法
核心事实
时间轴 (近 90 天)
预训练是在海量无标注文本上通过自监督学习(如预测下一个词)让模型习得语言规律和世界知识,成本极高。
放弃文本监督意味着模型只能依靠声学信号自身的结构进行自监督学习,常见做法包括掩码预测、对比学习和基于对话轮次的预测目标。
技术路线之争的例子包括:模型架构上Transformer与交替使用卷积和注意力的混合架构之争;训练方式上自监督学习与监督学习的取舍;部署策略上云端大模型与端侧小模型的权衡。
常规自监督依赖外部构造的代理任务(如掩码预测、对比学习),而 MetaPred 的自监督信号来自状态自身的测量结果。
当前框架的特征集仍属手工设计,未来能否与自监督学习结合、在保持可解释性的同时提升性能,是该方向值得关注的开放问题。
在AI领域,类似“玩耍—学习”的思想体现在无监督预训练和自监督学习中:模型先在无标注数据上学习通用表征,再迁移到下游任务。
迁移学习或自监督学习能在标注样本有限时提升模型的鲁棒性,但也意味着模型的可解释性会打折扣——这对需要给出明确农事建议的产品而言是一个现实约束。
由于缺乏大规模标注数据,研究者往往借助迁移学习或自监督学习,先在海量无标注信号上预训练表征,再用少量受控实验数据微调分类器。
自监督学习不需要人工标注,而是从给定前文预测下一个 token 构造监督信号,这是 LLM 训练规模化的关键。
学术界和工业界应对小样本缺陷检测的常用方法包括异常检测(如自编码器重构误差法)、数据增强与合成缺陷生成、迁移学习以及半监督/自监督学习。
还有 8 条时间轴事件
全部知识事实 (20)
大语言模型的预训练阶段本质上属于自监督学习,是一种特殊的非监督学习,模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证上下文学习最初在大语言模型中被观察到,其能力本质源于预训练数据的多样性
75%已验证基础模型通过在海量无标注文本上预测'下一个词'来学习,采用自监督学习范式,由GPT系列、LLaMA等模型代表
65%待验证预训练是在海量无标注文本上通过自监督学习(如预测下一个词)让模型习得语言规律和世界知识,成本极高。
50%待验证放弃文本监督意味着模型只能依靠声学信号自身的结构进行自监督学习,常见做法包括掩码预测、对比学习和基于对话轮次的预测目标。
50%待验证技术路线之争的例子包括:模型架构上Transformer与交替使用卷积和注意力的混合架构之争;训练方式上自监督学习与监督学习的取舍;部署策略上云端大模型与端侧小模型的权衡。
50%待验证常规自监督依赖外部构造的代理任务(如掩码预测、对比学习),而 MetaPred 的自监督信号来自状态自身的测量结果。
50%待验证当前框架的特征集仍属手工设计,未来能否与自监督学习结合、在保持可解释性的同时提升性能,是该方向值得关注的开放问题。
50%待验证在AI领域,类似“玩耍—学习”的思想体现在无监督预训练和自监督学习中:模型先在无标注数据上学习通用表征,再迁移到下游任务。
50%待验证迁移学习或自监督学习能在标注样本有限时提升模型的鲁棒性,但也意味着模型的可解释性会打折扣——这对需要给出明确农事建议的产品而言是一个现实约束。
50%待验证由于缺乏大规模标注数据,研究者往往借助迁移学习或自监督学习,先在海量无标注信号上预训练表征,再用少量受控实验数据微调分类器。
50%待验证自监督学习不需要人工标注,而是从给定前文预测下一个 token 构造监督信号,这是 LLM 训练规模化的关键。
50%待验证学术界和工业界应对小样本缺陷检测的常用方法包括异常检测(如自编码器重构误差法)、数据增强与合成缺陷生成、迁移学习以及半监督/自监督学习。
50%待验证使用'未来轨迹'作为标签基于车辆当前行驶路径安全可通行的假设,在跟随前车车辙场景成立,但开拓新路时可能引入噪声标签
50%待验证该研究采用自监督方法,利用GNSS数据将车辆未来行驶轨迹反向投影到当前图像帧上,自动生成车辙的训练标签
50%待验证无监督或自监督学习范式对于缺乏对照翻译的非人类通信研究尤为关键
50%待验证深度估计主流方法分为两大路线:基于几何的多视图立体(MVS)和基于深度学习的单目深度估计
50%待验证该方案本质上是一种自监督学习应用,利用生成过程本身产生完美对齐的监督信号
50%待验证自监督TTT工作最早可追溯到2020年前后,通过在测试样本上构建辅助自监督任务(如旋转预测)让模型适配当前输入
50%待验证当前主流的大语言模型和AI系统基于海量数据的自监督学习与强化学习相结合的训练方式
50%