Qwen-VL
Qwen-VL是阿里巴巴研发的视觉语言大模型,属于通义千问(Qwen)系列的多模态分支。该模型能够同时理解图像与文本输入,支持图文问答、视觉推理、图像描述生成、文档理解及GUI交互等多种任务,具备较强的中英文双语视觉理解能力,可应用于智能助手、自动化代理等场景。
核心事实
时间轴 (近 90 天)
OCR路线常用Tesseract、PaddleOCR等工具先得到纯文本再交给语言模型判断字段;端到端的视觉模型(如Donut、Qwen-VL)则跳过显式OCR,直接从图像预测结构化输出。
目前主流的开放权重视觉/文本模型包括Meta的Llama系列、Mistral、Qwen-VL、LLaVA以及专攻文档理解的Donut、LayoutLMv3;其权重可通过llama.cpp、Ollama、Transformers等运行时加载,断网即可工作。
多模态大语言模型(MLLM)指能够同时处理文本、图像、视频等多种模态输入的大规模模型,如 GPT-4V、Qwen-VL 等。
多模态大语言模型(MLLMs)指能够同时处理文本、图像、音频、视频等多种模态输入并生成文本输出的大规模模型,代表性工作包括 GPT-4o、Gemini、Qwen-VL 等。
Qwen系列的多分支包括针对代码场景继续预训练的CodeQwen以及融合视觉编码器的多模态版本Qwen-VL
MiMo-V2.6的具体基准测试成绩及与同类开源全模态模型(如Qwen-VL系列)的横向对比仍有待检验
阿里巴巴此前发布了 Qwen-Audio 和 Qwen-VL 系列模型
VLM 是在传统 LLM 基础上融合了视觉编码器的多模态模型,典型代表包括 LLaVA、Qwen-VL、InternVL
主流开源多模态模型上下文长度通常在4K到32K之间,LLaVA-1.5为4096 token,Qwen-VL为8192 token,InternVL2扩展到32K
InternVL2、Qwen-VL等专注文档理解的主流开源模型参数量多在3B至72B区间
还有 3 条时间轴事件
全部知识事实 (20)
GPT-4V、Claude 3、Gemini是现代多模态大模型的代表,能够同时处理文本、图像等多种数据类型
90%已验证Qwen-VL是阿里巴巴达摩院推出的视觉语言模型系列,基于Qwen大语言模型扩展而来,采用ViT视觉编码器与Qwen语言模型的组合架构,通过位置感知的视觉-语言适配器实现跨模态对齐
85%已验证VLM(视觉语言模型)通常由视觉编码器(如ViT)、语言模型和连接两者的投影层组成,代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL
80%已验证千问视觉模型(Qwen-VL系列)是阿里云通义团队推出的多模态大模型,能够同时理解文本和图像输入
75%已验证Qwen-VL系列模型采用了动态分辨率输入机制,能够处理不同尺寸的图像而无需强制缩放
70%已验证开源多模态模型LLaVA、InternVL、Qwen-VL通常采用'视觉编码器+投影层+语言模型'的架构
70%已验证Transformers框架支持的文本模型包括GPT、BERT、LLaMA、T5等,视觉模型包括ViT、CLIP、Stable Diffusion等,音频模型包括Whisper、Wav2Vec等,多模态模型包括LLaVA、Qwen-VL等
65%待验证Qwen-VL和InternVL分别来自阿里和上海AI Lab,代表国内多模态领域的前沿水平
90%待验证阿里的Qwen-VL和智谱的CogVLM/GLM-4V是中文领域代表性的多模态模型
90%待验证开源多模态模型包括LLaVA、MiniCPM-V、InternVL、Qwen-VL等
60%待验证OCR路线常用Tesseract、PaddleOCR等工具先得到纯文本再交给语言模型判断字段;端到端的视觉模型(如Donut、Qwen-VL)则跳过显式OCR,直接从图像预测结构化输出。
50%待验证目前主流的开放权重视觉/文本模型包括Meta的Llama系列、Mistral、Qwen-VL、LLaVA以及专攻文档理解的Donut、LayoutLMv3;其权重可通过llama.cpp、Ollama、Transformers等运行时加载,断网即可工作。
50%待验证多模态大语言模型(MLLM)指能够同时处理文本、图像、视频等多种模态输入的大规模模型,如 GPT-4V、Qwen-VL 等。
50%待验证多模态大语言模型(MLLMs)指能够同时处理文本、图像、音频、视频等多种模态输入并生成文本输出的大规模模型,代表性工作包括 GPT-4o、Gemini、Qwen-VL 等。
50%待验证Qwen系列的多分支包括针对代码场景继续预训练的CodeQwen以及融合视觉编码器的多模态版本Qwen-VL
50%待验证MiMo-V2.6的具体基准测试成绩及与同类开源全模态模型(如Qwen-VL系列)的横向对比仍有待检验
50%待验证阿里巴巴此前发布了 Qwen-Audio 和 Qwen-VL 系列模型
50%待验证VLM 是在传统 LLM 基础上融合了视觉编码器的多模态模型,典型代表包括 LLaVA、Qwen-VL、InternVL
50%待验证主流开源多模态模型上下文长度通常在4K到32K之间,LLaVA-1.5为4096 token,Qwen-VL为8192 token,InternVL2扩展到32K
50%待验证InternVL2、Qwen-VL等专注文档理解的主流开源模型参数量多在3B至72B区间
50%