多模态模型
多模态模型是一类能够联合处理和理解两种及以上数据模态（如文本、图像、音频、视频等）的人工智能模型。其核心特征在于跨模态信息融合与协同推理，能够建立不同模态之间的语义关联，从而完成图文理解、视觉问答、跨模态生成等任务。与单一模态模型相比，多模态模型更接近人类感知世界的方式，在自然语言处理、计算机视觉及人机交互等领域具有广泛应用。
核心事实
时间轴 (近 90 天)
已有研究指出，多模态模型在需要联结分散线索的任务上普遍弱于单模态人类基线。
按量计费与免费额度是云 API 常见的两种定价方式；免费额度通常以请求数、Token 数或时长计量，超出后转为按量计费；多模态模型由于计算密集，往往不设免费额度或额度极低。
多模态模型受输入分辨率和上下文限制，高分辨率图像会被压缩导致细节丢失；辅助视觉模型是在主模型之外单独挂一个便宜的小视觉模型，仅在遇到图片时唤醒做局部识别。
AI CAD赛道近期热度上升，与多模态模型能力提升有关，视觉模型对工程图纸的理解精度在改善。
类似多手指、肢体扭曲等错误也源于模型未能将局部属性正确绑定到实例的同一机制。
多模态模型通常由视觉编码器、语言模型和图像生成器组成，其训练目标是在大规模图文对上最大化似然，而非显式建模三维几何。
Pipit 支持用自然语言描述检索相册，背后依赖量化后部署在手机端的多模态模型理解图像内容，而非传统标签或元数据匹配。
VocalGrad 提醒：多模态模型在语义任务上的高分可能掩盖感知能力的空缺，当模型依赖文本先验或语言推理猜答案时，基准测试会高估其真实能力。
如今多模态模型已能直接看图回答类似识别鸟类的问题。
私有化部署中需要部署的模型类型涉及语言模型、嵌入模型、向量模型和多模态模型。
还有 32 条时间轴事件
全部知识事实 (20)
多模态大模型能够同时处理图像、视频帧与文本，并在这些模态之间建立语义关联
85%已验证多模态大模型将图像切分为固定patch经视觉编码器（基于ViT架构）转换为高维向量后对齐到语言模型token embedding空间，是推断而非读取
80%已验证多模态输入指模型支持文本、语音、图像等多种类型内容的能力
75%已验证当前大模型处理视频并非逐帧理解，而是通过智能采样从视频中抽取关键帧（通常每秒1-4帧）作为图像输入分析
75%已验证Multimodal understanding refers to an AI model's ability to simultaneously process multiple information types including text, images, audio, and video
75%已验证对语音智能体而言，多模态大模型不仅输入需支持语音、图片、文字、视频，输出也必须支持语音
65%待验证已有研究指出，多模态模型在需要联结分散线索的任务上普遍弱于单模态人类基线。
50%待验证按量计费与免费额度是云 API 常见的两种定价方式；免费额度通常以请求数、Token 数或时长计量，超出后转为按量计费；多模态模型由于计算密集，往往不设免费额度或额度极低。
50%待验证多模态模型受输入分辨率和上下文限制，高分辨率图像会被压缩导致细节丢失；辅助视觉模型是在主模型之外单独挂一个便宜的小视觉模型，仅在遇到图片时唤醒做局部识别。
50%待验证AI CAD赛道近期热度上升，与多模态模型能力提升有关，视觉模型对工程图纸的理解精度在改善。
50%待验证类似多手指、肢体扭曲等错误也源于模型未能将局部属性正确绑定到实例的同一机制。
50%待验证多模态模型通常由视觉编码器、语言模型和图像生成器组成，其训练目标是在大规模图文对上最大化似然，而非显式建模三维几何。
50%待验证Pipit 支持用自然语言描述检索相册，背后依赖量化后部署在手机端的多模态模型理解图像内容，而非传统标签或元数据匹配。
50%待验证VocalGrad 提醒：多模态模型在语义任务上的高分可能掩盖感知能力的空缺，当模型依赖文本先验或语言推理猜答案时，基准测试会高估其真实能力。
50%待验证如今多模态模型已能直接看图回答类似识别鸟类的问题。
50%待验证私有化部署中需要部署的模型类型涉及语言模型、嵌入模型、向量模型和多模态模型。
50%待验证Meta的社交属性使其收集的数据类型更丰富，帖子、评论、图片、公开主页信息都可能成为多模态模型的训练素材。
50%待验证多模态模型在推理引擎上的部署难点在于图像 token 数量可变、预处理流水线独立于文本，需要引擎支持异构输入调度。
50%待验证已有研究基准如Physion、IntPhys表明，最强多模态模型在物体穿透和堆叠稳定性等问题上仍显著低于人类幼儿水平
50%待验证多模态模型与垂直领域之间的最后一公里可能不需要大规模工程团队，一个研究者加上合适的工具链就能走通。
50%