视觉-语言对齐

使用对比学习目标时，噪声标签对视觉-语言对齐的破坏相对可控；而生成式目标（如图像描述）对标签错误更敏感。

一项研究针对84亿参数的多模态基础模型，在日语金融文档上依次进行视觉-语言对齐、数学推理蒸馏和领域微调三个阶段，并在五个文本输入基准上评估性能。

视觉-语言对齐的目标是将图像和文本映射到共享的语义空间，使模型理解两种模态之间的对应关系。