对比学习
一种自监督或弱监督学习范式，通过构造正负样本对训练模型，使语义相似样本在嵌入空间中距离更近，是CLIP、SigLIP等视觉语言模型的核心训练方法
核心事实
时间轴 (近 90 天)
嵌入模型微调通常采用对比学习框架：将语义相近的样本对作为正例、不相关的作为负例，通过拉近正例距离、推远负例距离来优化检索排序能力。
对比学习是稠密检索模型微调的核心范式，它将查询与其正样本文档在向量空间中拉近，同时将查询与批次内其他文档（负样本）推远。
实现多模态融合的关键技术包括跨模态注意力机制和对比学习，使模型能够学习不同数据源之间的关联。
论文《SimOPD: Relational Knowledge Transfer for On-Policy Distillation》提出SimOPD方法，借鉴对比学习中对实例间关系的利用，通过学生生成响应的相似性来传递教师的内部知识。
对比式信号对阈值和尺度更鲁棒，更容易从编辑器已有的特征空间中直接读出，而不必额外训练一个独立的评分网络。
字体嵌入的典型流程包括：数据准备（收集 TTF/OTF 字体文件并渲染字符）、特征提取（用 CNN 或 VAE 编码为向量）、训练嵌入空间（对比学习或自编码器重建损失）、降维可视化（t-SNE、UMAP 或 PCA）、观察结构。
Transformer架构、对比学习、强化学习与人类反馈（RLHF）属于范式级创新
论文将对比学习、指数族分布和信息几何三个数学工具串联，建立了锚点上的概率分布与表示空间上Bregman几何之间的严格映射关系
论文提出对比学习得到的表示天然蕴含一个几何家族而非单一几何，同一组固定向量表示可被特化到不同语义结构而无需重新训练模型
Transformer架构和对比学习（contrastive learning）已被用于对抹香鲸尾音序列进行嵌入表示
还有 13 条时间轴事件
全部知识事实 (20)
CLIP架构由OpenAI于2021年提出，通过对比学习将图像和文本映射到同一高维向量空间
90%已验证对比学习的核心损失函数（如InfoNCE、NT-Xent）本质是拉近同类样本表征距离、推远不同类样本表征距离
65%已验证Embedding模型本质上是Encoder-only Transformer架构，代表为BERT及其变体，通过对比学习或掩码语言模型任务预训练
65%待验证微调时应使用难负样本（如同领域但不同层级的岗位）而非随机负样本，以获得最大增益
60%待验证嵌入模型微调通常采用对比学习框架：将语义相近的样本对作为正例、不相关的作为负例，通过拉近正例距离、推远负例距离来优化检索排序能力。
50%待验证对比学习是稠密检索模型微调的核心范式，它将查询与其正样本文档在向量空间中拉近，同时将查询与批次内其他文档（负样本）推远。
50%待验证实现多模态融合的关键技术包括跨模态注意力机制和对比学习，使模型能够学习不同数据源之间的关联。
50%待验证论文《SimOPD: Relational Knowledge Transfer for On-Policy Distillation》提出SimOPD方法，借鉴对比学习中对实例间关系的利用，通过学生生成响应的相似性来传递教师的内部知识。
50%待验证对比式信号对阈值和尺度更鲁棒，更容易从编辑器已有的特征空间中直接读出，而不必额外训练一个独立的评分网络。
50%待验证字体嵌入的典型流程包括：数据准备（收集 TTF/OTF 字体文件并渲染字符）、特征提取（用 CNN 或 VAE 编码为向量）、训练嵌入空间（对比学习或自编码器重建损失）、降维可视化（t-SNE、UMAP 或 PCA）、观察结构。
50%待验证Transformer架构、对比学习、强化学习与人类反馈（RLHF）属于范式级创新
50%待验证论文将对比学习、指数族分布和信息几何三个数学工具串联，建立了锚点上的概率分布与表示空间上Bregman几何之间的严格映射关系
50%待验证论文提出对比学习得到的表示天然蕴含一个几何家族而非单一几何，同一组固定向量表示可被特化到不同语义结构而无需重新训练模型
50%待验证Transformer架构和对比学习（contrastive learning）已被用于对抹香鲸尾音序列进行嵌入表示
50%待验证Embedding模型微调通常采用对比学习框架，通过构造正样本对和负样本对训练模型拉近正样本、推开负样本
50%待验证地理空间基础模型通常以Transformer架构为核心，采用自监督学习方式在大量遥感影像上预训练，典型方法包括掩码自编码器（MAE）和对比学习
50%待验证对比学习天然鼓励模型抓取图像中最具区分度的语义特征，而非细粒度的空间与数量信息
50%待验证对比学习是实现负样本学习的核心范式,通过拉近正样本对表征距离、推远负样本对表征距离来学习特征
50%待验证对比学习通常采用InfoNCE损失函数,该函数源于噪声对比估计(Noise Contrastive Estimation)理论
50%待验证JEPA与对比学习的本质区别在于JEPA通过预测缺失部分的表征来学习，不依赖显式的数据增强策略
50%