多模态模型
多模态模型是一类能够联合处理和理解两种及以上数据模态（如文本、图像、音频、视频等）的人工智能模型。其核心特征在于跨模态信息融合与协同推理，能够建立不同模态之间的语义关联，从而完成图文理解、视觉问答、跨模态生成等任务。与单一模态模型相比，多模态模型更接近人类感知世界的方式，在自然语言处理、计算机视觉及人机交互等领域具有广泛应用。
核心事实
时间轴 (近 90 天)
多模态模型原生看图的能力代价是参数量、训练数据与推理成本显著上升，且视觉分辨率受限于编码器的输入规格。
多模态模型正在从“理解多种输入”走向“产出多种格式”，动态内容生成是下一个自然延伸方向。
多模态模型协调的难点不仅在于各模型接口的调用顺序，更在于跨模态的信息一致性，例如同一产品在不同分镜中的颜色、logo、材质必须保持统一。
这类技能通常建立在多模态模型之上，需要协调文本、图像和视频生成。
近一年多，多模态模型在工程制图、电路图、流程图等强结构化图像上的表现被反复测试，共同规律是模型对“看起来对”的图很擅长，对“必须逐项符合规范”的图仍不可靠。
已有研究指出，多模态模型在需要联结分散线索的任务上普遍弱于单模态人类基线。
按量计费与免费额度是云 API 常见的两种定价方式；免费额度通常以请求数、Token 数或时长计量，超出后转为按量计费；多模态模型由于计算密集，往往不设免费额度或额度极低。
多模态模型受输入分辨率和上下文限制，高分辨率图像会被压缩导致细节丢失；辅助视觉模型是在主模型之外单独挂一个便宜的小视觉模型，仅在遇到图片时唤醒做局部识别。
AI CAD赛道近期热度上升，与多模态模型能力提升有关，视觉模型对工程图纸的理解精度在改善。
多模态模型通常由视觉编码器、语言模型和图像生成器组成，其训练目标是在大规模图文对上最大化似然，而非显式建模三维几何。
还有 38 条时间轴事件
全部知识事实 (20)
多模态大模型能够同时处理图像、视频帧与文本，并在这些模态之间建立语义关联
85%已验证多模态大模型将图像切分为固定patch经视觉编码器（基于ViT架构）转换为高维向量后对齐到语言模型token embedding空间，是推断而非读取
80%已验证多模态输入指模型支持文本、语音、图像等多种类型内容的能力
75%已验证当前大模型处理视频并非逐帧理解，而是通过智能采样从视频中抽取关键帧（通常每秒1-4帧）作为图像输入分析
75%已验证Multimodal understanding refers to an AI model's ability to simultaneously process multiple information types including text, images, audio, and video
75%已验证对语音智能体而言，多模态大模型不仅输入需支持语音、图片、文字、视频，输出也必须支持语音
65%待验证许多知名多模态模型实际上是输入支持多模态、输出却只支持文本
60%待验证多模态模型原生看图的能力代价是参数量、训练数据与推理成本显著上升，且视觉分辨率受限于编码器的输入规格。
50%待验证多模态模型正在从“理解多种输入”走向“产出多种格式”，动态内容生成是下一个自然延伸方向。
50%待验证这类技能通常建立在多模态模型之上，需要协调文本、图像和视频生成。
50%待验证多模态模型协调的难点不仅在于各模型接口的调用顺序，更在于跨模态的信息一致性，例如同一产品在不同分镜中的颜色、logo、材质必须保持统一。
50%待验证近一年多，多模态模型在工程制图、电路图、流程图等强结构化图像上的表现被反复测试，共同规律是模型对“看起来对”的图很擅长，对“必须逐项符合规范”的图仍不可靠。
50%待验证已有研究指出，多模态模型在需要联结分散线索的任务上普遍弱于单模态人类基线。
50%待验证按量计费与免费额度是云 API 常见的两种定价方式；免费额度通常以请求数、Token 数或时长计量，超出后转为按量计费；多模态模型由于计算密集，往往不设免费额度或额度极低。
50%待验证多模态模型受输入分辨率和上下文限制，高分辨率图像会被压缩导致细节丢失；辅助视觉模型是在主模型之外单独挂一个便宜的小视觉模型，仅在遇到图片时唤醒做局部识别。
50%待验证AI CAD赛道近期热度上升，与多模态模型能力提升有关，视觉模型对工程图纸的理解精度在改善。
50%待验证类似多手指、肢体扭曲等错误也源于模型未能将局部属性正确绑定到实例的同一机制。
50%待验证多模态模型通常由视觉编码器、语言模型和图像生成器组成，其训练目标是在大规模图文对上最大化似然，而非显式建模三维几何。
50%待验证Pipit 支持用自然语言描述检索相册，背后依赖量化后部署在手机端的多模态模型理解图像内容，而非传统标签或元数据匹配。
50%待验证VocalGrad 提醒：多模态模型在语义任务上的高分可能掩盖感知能力的空缺，当模型依赖文本先验或语言推理猜答案时，基准测试会高估其真实能力。
50%