ViT
Vision Transformer（ViT）是一种将Transformer架构直接应用于计算机视觉任务的深度学习模型。其核心机制是将输入图像切分为固定大小的图像块（patch），将每个图像块线性嵌入为序列向量，再通过标准Transformer编码器进行特征提取与分类。ViT突破了卷积神经网络在视觉领域的主导地位，在大规模数据预训练后可在多种图像识别任务上达到具有竞争力的性能。
核心事实
时间轴 (近 90 天)
在多模态模型中，视觉编码器（如 ViT）将图像块或视频帧映射为连续向量，这些向量所处的维度空间称为潜空间。
视觉塔（vision tower）是多模态模型中负责把图像编码成视觉 token 的子网络，通常由 ViT 类结构堆叠而成，输出经投影层对齐到语言模型的嵌入空间。
DiT的核心思想是利用Transformer处理图像块（patch）序列，并通过自适应层归一化（adaLN）注入时间步和类别条件。
MAE 将图像划分为规则图像块，随机遮挡其中大部分（常见 75%），仅将可见块送入 ViT 编码器。
论文在 MLP、ViT 和 GPT-2 三种架构上验证了 DP-μP 的效果，实验设计为在较窄的模型上搜索学习率，然后直接应用到更宽的模型上，不进行额外调参。
传统多模态模型会先由视觉编码器（如 ViT）把整张图切成固定数量的 patch，每个 patch 映射为一个视觉 token，再与文本 token 一起送入语言模型，这个过程不可逆。
视觉编码器通常由卷积神经网络（CNN）或视觉Transformer（ViT）构成，将图像切成若干块或区域并逐块提取高维特征向量。
Ask4NV 将相机几何信息注入到 VAE 与 ViT 两套表示中，使几何先验在编码阶段被显式考虑。
多头自注意力（Multi-Head Self-Attention）是 Transformer 和 ViT 的核心运算，实现时需处理 Query、Key、Value 线性变换、分头计算 softmax(QK^T / sqrt(d/h))V、拼接投影等步骤，在 CV 中 N 为 patch 数量（224×224 图像切成 16×16 patch 时 N=196），位置编码需额外加上。
CNN依靠局部卷积核逐层堆叠，感受野有限，擅长捕捉边缘、纹理等局部特征；ViT更擅长刻画全局上下文与远距离依赖。
还有 27 条时间轴事件
全部知识事实 (20)
Vision Transformer（ViT）由Google Brain团队于2020年提出，将Transformer架构引入计算机视觉领域
90%已验证Qwen-VL是阿里巴巴达摩院推出的视觉语言模型系列，基于Qwen大语言模型扩展而来，采用ViT视觉编码器与Qwen语言模型的组合架构，通过位置感知的视觉-语言适配器实现跨模态对齐
85%已验证ViT（Vision Transformer）将图像切分为固定大小的16×16 patch序列后输入标准Transformer
80%已验证VLM（视觉语言模型）通常由视觉编码器（如ViT）、语言模型和连接两者的投影层组成，代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL
80%已验证AI是效率放大器，不是专业能力的替代品，智能体系统的架构设计仍需扎实技术功底
80%已验证视觉语言模型(VLM)能够同时处理图像和文本信息,建立两者之间的语义关联
75%已验证多模态大模型的技术基础是视觉编码器（如ViT）与语言模型的联合训练，使模型能将像素空间视觉信息映射到与文本共享的语义空间
75%已验证当前主流多模态LLM通过视觉编码器（通常是CLIP或ViT系列）将图像转换为token序列，再经线性投影层或交叉注意力机制与文本空间对齐
75%已验证图像生成模型通常采用CLIP或类似跨模态编码器将文本映射为高维向量，再由U-Net或DiT架构在潜空间逐步去噪生成图像
75%已验证ViT的核心思想是将图像切分为固定大小的图块（Patch），将每个图块展平后视为序列中的一个Token，再通过多头自注意力机制建模全局依赖关系
75%已验证VLM（视觉语言模型）的典型架构包含三个核心组件：视觉编码器（如ViT）、语言模型（通常是大型语言模型）、以及连接二者的投影层或适配器模块
70%已验证Vision Transformer将图像切分为16×16的patch作为基本处理单元
70%已验证农业场景下的图像识别主要基于深度学习中的卷积神经网络（CNN）及其变体，如ResNet、EfficientNet、Vision Transformer等模型架构
70%已验证Vision Transformer(ViT)于2020年出现,标志着Transformer进入计算机视觉领域
65%已验证VLM由视觉编码器、语言模型骨干和跨模态对齐模块三部分构成
65%已验证2020年Google提出的ViT（Vision Transformer）证明将图像切分为16×16小块后，Transformer在图像分类任务上可以达到甚至超越CNN的性能
65%已验证Transformers框架支持的文本模型包括GPT、BERT、LLaMA、T5等，视觉模型包括ViT、CLIP、Stable Diffusion等，音频模型包括Whisper、Wav2Vec等，多模态模型包括LLaVA、Qwen-VL等
65%待验证特征提取阶段模型通过卷积神经网络（CNN）或视觉Transformer（ViT）等架构将原始像素转化为抽象特征向量
90%待验证DiT的核心思想是利用Transformer处理图像块（patch）序列，并通过自适应层归一化（adaLN）注入时间步和类别条件。
60%待验证Video-LLM的核心架构通常由视觉编码器、投影层和大语言模型主干三部分组成
60%