多模态大模型

多模态大模型通过视觉编码器（Vision Encoder）将图像转化为高维向量表示，再与语言模型的文本理解能力融合

基础模型指在大规模通用语料上预训练、可通过微调或提示适配多种下游任务的模型，通常按模态分为文本、图像、音频等类别。

当前大模型处理视频并非逐帧理解，而是通过智能采样从视频中抽取关键帧（通常每秒1-4帧）作为图像输入分析

MiMo-V2.6 覆盖文本、图像、语音等多种模态，是全模态模型

若输入是音频，则可将Vision Encoder替换为Speech Encoder（语音编码器）进行编码对齐后输给大语言模型

多模态大模型的架构核心必然包含一个大语言模型（LLM）在背后支撑

多模态模型微调时不仅需要调整语言模型参数，往往还需冻结或微调模态编码器，并精心设计模态对齐策略。

多模态大模型的典型架构通常包含三个核心组件：模态编码器、模态对齐模块以及大语言模型主干。

现代多模态大模型的图像理解能力已大幅削弱 CAPTCHA 基于「人类容易、机器困难」的假设，许多 CAPTCHA 可被高准确率破解。

当前多模态架构天然造成“感知—推理”信息通道的断裂：视觉特征在进入语言模型前已被压缩为有限数量的token，细粒度空间关系与相似物区分信息容易丢失。

该研究提出了一种无需训练的六类晶圆图缺陷分类框架，利用冻结的大型多模态模型，通过连通域高亮与规则排序提示实现零样本分类。

提示中规则顺序会影响多模态大模型输出，与模型的注意力机制和上下文处理方式有关，靠前内容的关注权重通常更高，规则间的语义重叠或冲突会改变消歧路径。

多模态大模型的视觉编码器通常冻结或仅做轻量适配，领域适应能力受限。

在PixCC数据集中，人类表现出策略转变：从整体性语义联想转向描述低层视觉属性（如颜色、纹理），而MLLM更倾向于坚持语义层面的联想。

人类在联想创造力上仍显著优于多模态大模型，尤其在面对难以命名的视觉刺激时，人类能产出更多样、更原创的描述。

当前MLLM倾向于依赖训练数据中的语义模式，而非灵活适应视觉不确定性。

研究采用两个数据集：SilCC（通过渐进复杂的抽象形状组合调控命名难度）和PixCC（通过增加随机视觉噪声提升识别难度）来比较人类与多模态大模型的联想创造力。

与多模态大模型相比，人类产出的联想描述具有更大的语义距离、更高的熵值，并出现更多新颖表达。

在 MMEnterprise-Bench 的实验中，研究团队评测了 10 个闭源和开源多模态大模型。

当证据跨越多张图片时，模型的整合能力明显下滑。