[控场AI]
概念MLLM / Multimodal Large Language Model

多模态大语言模型

能够同时处理文本、图像、视频、音频等多种模态输入的大语言模型,通过跨模态对齐实现联合推理。

时间轴 (近 90 天)

10月30日

实验结果显示,最强模型在Ask-F1指标上仅达到52.18%。

待验证50%
10月30日

论文分析指出,模型在判断“何时问”时容易过早或过晚行动,在“问什么”上则常提出无关或冗余问题。

待验证50%
10月30日

在多模态模型中,指称通常通过文本 token 与视觉 token 之间的注意力对齐来实现。

待验证50%
10月30日

多模态大语言模型在视觉识别上已相当成熟,但在多步骤视觉推理任务中可靠性明显下降。

待验证50%
10月14日

多模态大语言模型(MLLM)绝大多数仍围绕单张图片输入做优化,多图输入时视觉token编码开销随图片数量线性甚至超线性增长。

待验证50%
10月13日

WOVEN 的论点实质上是把 MLLM 的部分缺陷归因于世界模型能力的缺失——即模型虽能描述图像内容,却不能模拟其随动作演化。

待验证50%
10月13日

多模态大语言模型(MLLM)指能够同时处理文本、图像、视频等多种模态输入的大规模模型,如 GPT-4V、Qwen-VL 等。

待验证50%
10月12日

当前多模态大语言模型在低分辨率、模糊的嵌入式文字场景下常常无法识别文字,甚至报告图中没有文字

待验证50%
10月7日

多模态大语言模型(MLLMs)在面对可迁移对抗样本时依然脆弱,尤其是在黑盒攻击场景下

待验证50%
10月7日

一篇arXiv新论文选择医学图像对齐评估作为测试前沿多模态大语言模型通用视觉推理能力的场景

待验证50%

还有 15 条时间轴事件

全部知识事实 (20)

待验证

图生词(Image-to-Text)利用多模态大语言模型的视觉理解能力,将视觉特征映射到自然语言描述

60%
待验证

一张典型手机照片在多模态大语言模型中约消耗1000-1500个token

60%
待验证

Computer Use Agent的核心技术依赖于多模态大语言模型的视觉理解能力,通过截图-分析-执行的循环机制工作

60%
待验证

论文分析指出,模型在判断“何时问”时容易过早或过晚行动,在“问什么”上则常提出无关或冗余问题。

50%
待验证

实验结果显示,最强模型在Ask-F1指标上仅达到52.18%。

50%
待验证

多模态大语言模型在视觉识别上已相当成熟,但在多步骤视觉推理任务中可靠性明显下降。

50%
待验证

在多模态模型中,指称通常通过文本 token 与视觉 token 之间的注意力对齐来实现。

50%
待验证

多模态大语言模型(MLLM)绝大多数仍围绕单张图片输入做优化,多图输入时视觉token编码开销随图片数量线性甚至超线性增长。

50%
待验证

多模态大语言模型(MLLM)指能够同时处理文本、图像、视频等多种模态输入的大规模模型,如 GPT-4V、Qwen-VL 等。

50%
待验证

WOVEN 的论点实质上是把 MLLM 的部分缺陷归因于世界模型能力的缺失——即模型虽能描述图像内容,却不能模拟其随动作演化。

50%
待验证

当前多模态大语言模型在低分辨率、模糊的嵌入式文字场景下常常无法识别文字,甚至报告图中没有文字

50%
待验证

多模态大语言模型(MLLMs)在面对可迁移对抗样本时依然脆弱,尤其是在黑盒攻击场景下

50%
待验证

一篇arXiv新论文选择医学图像对齐评估作为测试前沿多模态大语言模型通用视觉推理能力的场景

50%
待验证

研究发现大多数被测试模型的假新闻检测准确率显著低于人类水平

50%
待验证

被测模型在判断图像真实性方面出现关键性失败,是其检测能力的致命短板

50%
待验证

研究者对16个开源与闭源的MLLMs进行了自动化假新闻检测能力的基准测试

50%
待验证

研究显示多模态大模型在生成假新闻的能力上超过了其检测假新闻的能力,即攻击者能力增长快于防御者能力

50%
待验证

该研究构建了一套多智能体协作框架,由故事智能体、图像智能体和评审智能体三个分工明确的智能体组成,用于生成多模态假新闻

50%
待验证

当前MLLMs的架构通常将语言编码器与视觉编码器分别训练后再融合,导致模型在深度交叉推理时力不从心

50%
待验证

一篇 arXiv 论文(arXiv:2609.26986v1)指出,证据出现的先后顺序是测量多模态大模型模态偏好时被长期低估的混淆因素

50%

来源文章