DINOv2
Meta AI于2023年提出的纯视觉自监督基础模型,训练框架融合iBOT等多种自监督技术,无文本监督信号,擅长语义分割等任务
核心事实
时间轴 (近 90 天)
多数视觉嵌入模型(如 CLIP、DINOv2)在 224x224 或更大分辨率上训练,直接输入 20x22px 图像会导致特征提取严重失配。
SIFR 没有修改 CLIP 和 DINOv2 基础模型本身,而是在特征交互层面做频谱先验筛选。
直接拼接 CLIP 和 DINOv2 特征会将各自对域偏移(如风格、光照变化)的敏感响应一并引入下游,可能导致负迁移。
CLIP 通过大规模图文对比学习获得语义对齐能力,其特征对类别语义敏感但空间细节相对粗糙;DINOv2 基于自监督学习,在细粒度空间结构和局部纹理上表现更优但语义判别性稍弱。
SIFR 目前是在融合层面做频谱筛选,若能在更细粒度上按频段分配两个基础模型的贡献权重,可能释放更大潜力。
Flownomaly 在冻结的 DINOv2 特征空间中,通过条件流匹配学习速度场,将查询 token 向正常对应物拉回,用恢复前后的平方残差作为异常信号。
冻结 DINOv2 特征意味着 Flownomaly 的检测上限受制于该特征空间对细粒度缺陷的敏感度。
Flownomaly 在冻结 DINOv2 特征上做条件输运,恢复目标锚定在正常支持样本上,结构性降低了异常内容被复现的风险。
Flownomaly 不微调 DINOv2 主干,而是在冻结的 patch token 上做条件流匹配。
Meta开源了视觉模型DINOv2和SAM。
还有 12 条时间轴事件
全部知识事实 (20)
DINOv2是Meta AI于2023年发布的视觉基础模型,采用自监督学习范式在大规模无标注图像数据上进行预训练
65%待验证多数视觉嵌入模型(如 CLIP、DINOv2)在 224x224 或更大分辨率上训练,直接输入 20x22px 图像会导致特征提取严重失配。
50%待验证直接拼接 CLIP 和 DINOv2 特征会将各自对域偏移(如风格、光照变化)的敏感响应一并引入下游,可能导致负迁移。
50%待验证SIFR 没有修改 CLIP 和 DINOv2 基础模型本身,而是在特征交互层面做频谱先验筛选。
50%待验证CLIP 通过大规模图文对比学习获得语义对齐能力,其特征对类别语义敏感但空间细节相对粗糙;DINOv2 基于自监督学习,在细粒度空间结构和局部纹理上表现更优但语义判别性稍弱。
50%待验证冻结 DINOv2 特征意味着 Flownomaly 的检测上限受制于该特征空间对细粒度缺陷的敏感度。
50%待验证Flownomaly 在冻结的 DINOv2 特征空间中,通过条件流匹配学习速度场,将查询 token 向正常对应物拉回,用恢复前后的平方残差作为异常信号。
50%待验证Flownomaly 不微调 DINOv2 主干,而是在冻结的 patch token 上做条件流匹配。
50%待验证Flownomaly 在冻结 DINOv2 特征上做条件输运,恢复目标锚定在正常支持样本上,结构性降低了异常内容被复现的风险。
50%待验证Meta开源了视觉模型DINOv2和SAM。
50%待验证在 CIFAR-100 DINOv2 特征流上,引导时间采样将全局特征 Fréchet 距离 (FD) 降低了 23.6%。
50%待验证在 CIFAR-100 DINOv2 特征流上,引导时间采样没有改善类条件核 inception 距离 (KID)。
50%待验证在 CIFAR-100 DINOv2 特征流上,引导时间采样将均匀评估的速度损失降低了 6.78%。
50%待验证iREPA 是一类表征对齐技术,让扩散模型中间层特征与预训练视觉编码器(如 DINOv2)的特征对齐,以加速收敛。
50%待验证在蒸馏范式中,reViT使用一个8专家模型,仅利用DINOv2教师的输出特征进行蒸馏,即保留了接近完整的DINOv2教师线性探针精度。
50%待验证DINOv2是Meta提出的自监督视觉预训练方法,通过自蒸馏在大规模无标注图像上训练ViT,学到的特征在多种下游任务上具有很强的线性可分性。
50%待验证RADIO 是 NVIDIA 提出的视觉基础模型,通过蒸馏 CLIP、DINOv2、SAM 等多个视觉-语言预训练模型的知识,生成兼顾语义对齐与细粒度特征的视觉表征
50%待验证.char 构建过程使用 YuNet 定位人脸、SFace 提取人脸签名、DINOv2 提取主体整体特征签名
50%待验证多编码器融合方案(如同时使用CLIP和DINOv2)正成为提升VLM空间理解能力的常见手段
50%待验证研究团队用视频预训练的V-JEPA 1和V-JEPA 2编码器(ViT-L/ViT-G规模)替换DINOv2后,动作排序缺陷依然存在
50%