模型DINOv2-base / DINOv2

DINOv2-base

Meta提出的自监督视觉Transformer模型，基于ViT-B/14架构，参数量约8600万，通过自蒸馏目标在大规模无标注图像上预训练，无需文本监督即可产出高质量通用视觉特征。

时间轴 (近 90 天)

11月2日

图像侧使用冻结的 DINOv2-base，只嵌入一次；文本侧统一采用 4 层、宽度 256 的编码器，参数量约 1100 万；文本模型全程不接触图像。

待验证50%

11月2日

实验只覆盖一个数据集（COCO）和一个图像模型（DINOv2-base），下一词预测的最佳学习速度恰好落在搜索范围上界，可能存在未探索的更优配置。

待验证50%

11月2日

DINOv2-base 是 Meta 提出的自监督视觉 Transformer 模型，基于 ViT-B/14 架构，参数量约 8600 万，通过自蒸馏目标在大规模无标注图像上预训练，无需文本监督即可产出通用视觉特征。

待验证50%

图像侧使用冻结的 DINOv2-base，只嵌入一次；文本侧统一采用 4 层、宽度 256 的编码器，参数量约 1100 万；文本模型全程不接触图像。

实验只覆盖一个数据集（COCO）和一个图像模型（DINOv2-base），下一词预测的最佳学习速度恰好落在搜索范围上界，可能存在未探索的更优配置。