GPT-4V
GPT-4V（GPT-4 with Vision）是OpenAI开发的多模态大语言模型，是GPT-4系列的视觉增强版本。该模型能够同时处理文本与图像输入，支持图像内容识别、视觉推理、图文问答及场景描述等任务，将自然语言理解能力与视觉感知能力相结合，可应用于文档分析、图表解读、辅助诊断等多种场景。
核心事实
时间轴 (近 90 天)
截图转代码（Screenshot-to-Code）是近年来快速发展的多模态AI应用方向，技术基础建立在视觉-语言模型（如GPT-4V、Claude 3等）的跨模态理解能力之上。
GPT-4V、Claude 3等模型能处理图像，但视频输入的成本和延迟让许多应用场景无法落地。
多模态大语言模型（MLLM）指能够同时处理文本、图像、视频等多种模态输入的大规模模型，如 GPT-4V、Qwen-VL 等。
多模态大语言模型（MLLMs）指能够同时处理文本、图像、音频、视频等多种模态输入并生成文本输出的大规模模型，代表性工作包括 GPT-4o、Gemini、Qwen-VL 等。
当前主流视觉语言模型（如 GPT-4V、Claude 3 Vision）单张图片推理成本约为几美分到几十美分不等。
视觉模型路线的代表工具包括Unstructured.io、LlamaParse、微软的LayoutLM系列模型以及GPT-4V/Claude等多模态大模型
基础模型指经过大规模数据预训练、能够支撑多种下游任务的通用模型，典型代表包括GPT系列及CLIP、GPT-4V等多模态模型
3000+页若全部调用GPT-4V这类闭源API成本高昂，更务实的做法是用开源模型完成80%常规页面，仅将低置信度或版面异常页面交由高性能通用VLM处理
真正理解创意意图需要同时处理视觉素材和对话语境并将两者关联，涉及多模态大模型（如GPT-4V或Gemini）的能力边界
Spotit 跨应用界面识别的技术路径很可能依赖苹果的 Accessibility API 与视觉大模型的结合
还有 9 条时间轴事件
全部知识事实 (20)
2024年发布的GPT-4o将图像生成能力直接整合进多模态大语言模型中
90%已验证GPT-4V、Claude 3、Gemini是现代多模态大模型的代表，能够同时处理文本、图像等多种数据类型
90%已验证Gemini系列从训练阶段就将多种模态联合建模，而非像GPT-4V等方案那样后接视觉编码器
90%已验证VLM（视觉语言模型）通常由视觉编码器（如ViT）、语言模型和连接两者的投影层组成，代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL
80%已验证OpenAI的GPT-4V、Google的Gemini、Anthropic的Claude 3等模型都采用了跨模态对齐的技术路线
80%已验证GPT-4V和Claude 3系列等视觉语言模型能够同时处理图像和文本输入，支持多模态交互
80%已验证视觉-语言模型（VLM）的代表性工作包括OpenAI的GPT-4V、Google的Gemini以及开源社区的LLaVA
75%已验证GPT-4V（Vision）是OpenAI将视觉理解能力引入GPT系列的重要里程碑
65%已验证代表性Video-LLM模型包括VideoLLaMA、Video-ChatGPT和GPT-4V
65%已验证GPT-4V、Gemini、Claude 3等模型开始将视觉理解与语言推理统一到同一个参数空间中
65%待验证Multimodal understanding has been a core competitive battleground since GPT-4V launched in 2023
85%待验证LLaVA采用视觉指令微调方法，将预训练的CLIP视觉编码器与LLaMA语言模型桥接，以相对低廉的训练成本实现了接近GPT-4V的多模态理解能力
85%待验证在OSWorld最初发布时，最强的GPT-4V模型仅达到约12.24%的成功率
85%待验证微软于2024年初开源了UFO（UI-Focused Agent）项目，基于GPT-4V的多模态能力，采用双Agent架构（AppAgent和HostAgent）
85%待验证多模态大模型（如GPT-4V、Gemini）的出现降低了农业图像识别的开发门槛，开发者可以通过API调用快速构建识别能力
85%待验证2023年GPT-4V的发布标志着VLM进入了新的发展阶段
80%待验证基于UI Automation API的方案相比截图+视觉模型方案具有精确性更高、响应速度更快、稳定性更好的优势
80%待验证截图+视觉识别方法通常使用多模态模型（如GPT-4V）分析页面截图后生成近似的HTML/CSS代码，在处理复杂布局、CSS变量、伪元素等细节时容易出现偏差
80%待验证此前的PokeAgent挑战证明，即使是GPT-4V、Gemini等顶级多模态模型，在没有专门设计的辅助框架时，几乎无法在宝可梦RPG中取得任何进展
80%待验证OpenAI将GPT-4V（视觉理解）和DALL-E（图像生成）分开维护，与Google的原生多模态路线形成对比
75%