Flamingo
DeepMind推出的视觉语言跨模态模型，能够处理图像和文本的联合理解任务，是早期多模态AI的代表性工作
核心事实
时间轴 (近 90 天)
零门控是一种残差注入技巧：将新分支输出乘以初始化为 0 的可学习门控系数，再加到主分支上。
交错图文对齐借鉴了交错图文预训练的思路，如 Flamingo、OpenFlamingo 等工作中所采用的跨模态注意力结构。
视觉嵌入向量与文本嵌入向量的对齐通常通过投影层完成,常见实现包括线性层、MLP、Q-Former(如BLIP-2采用)或Perceiver Resampler(如Flamingo采用)
DeepMind团队在2022年发布的Flamingo模型开创了视觉-语言模型的少样本学习范式
Flamingo由DeepMind于2022年提出，使用Perceiver Resampler和交叉注意力层实现视觉与语言的深度融合
Flamingo由DeepMind于2022年提出，BLIP-2由Salesforce于2023年提出
DeepMind的Flamingo利用门控交叉注意力层将视觉特征注入冻结的语言模型中间层
DeepMind的Flamingo使用Perceiver Resampler实现视觉与语言的交叉注意力桥接
全部知识事实 (10)
VLM（视觉语言模型）通常由视觉编码器（如ViT）、语言模型和连接两者的投影层组成，代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL
80%已验证多模态大模型的技术基础是视觉编码器（如ViT）与语言模型的联合训练，使模型能将像素空间视觉信息映射到与文本共享的语义空间
75%待验证DeepMind的Flamingo使用Perceiver Resampler实现视觉与语言的交叉注意力桥接
60%待验证零门控是一种残差注入技巧：将新分支输出乘以初始化为 0 的可学习门控系数，再加到主分支上。
50%待验证交错图文对齐借鉴了交错图文预训练的思路，如 Flamingo、OpenFlamingo 等工作中所采用的跨模态注意力结构。
50%待验证视觉嵌入向量与文本嵌入向量的对齐通常通过投影层完成,常见实现包括线性层、MLP、Q-Former(如BLIP-2采用)或Perceiver Resampler(如Flamingo采用)
50%待验证DeepMind团队在2022年发布的Flamingo模型开创了视觉-语言模型的少样本学习范式
50%待验证Flamingo由DeepMind于2022年提出，使用Perceiver Resampler和交叉注意力层实现视觉与语言的深度融合
50%待验证Flamingo由DeepMind于2022年提出，BLIP-2由Salesforce于2023年提出
50%待验证DeepMind的Flamingo利用门控交叉注意力层将视觉特征注入冻结的语言模型中间层
50%