DeepSeek神秘撤稿论文：用视觉基元突破AI多模态推理瓶颈

一篇上线仅4小时的论文

在AI研究圈，DeepSeek一向以稳健著称，但这次却出现了戏剧性一幕。据海外AI博主的分析，DeepSeek v4发布后不久，其研究人员就在社交媒体上高调预告一项与视觉相关的新工作。论文和代码仓库随后正式上线，然而仅仅4小时后就被神秘撤下。

幸运的是，有人提前保存了这篇名为《Thinking with Visual Primitives》（用视觉基元思考）的论文副本，让外界得以一窥其内容。这不仅是DeepSeek在v4结论中承诺要攻克的多模态方向的正式落地，更提出了一个关于视觉推理的全新视角。

为何4小时后撤稿？博主推测，一个可能的原因是团队希望补充更多关于「感知差距」与「引用差距」权衡的消融实验——因为当前版本证明了视觉基元能让推理更高效，但尚未完全回答一个关键问题：在更好的引用机制生效之前，视觉细节到底能被压缩到什么程度？

多模态大模型的发展背景

要理解这篇论文的意义，首先需要了解多模态大模型（Multimodal Large Language Models, MLLMs）的发展脉络。自2021年OpenAI发布CLIP、2022年Google发布Flamingo以来，多模态模型经历了快速迭代。

CLIP（Contrastive Language-Image Pre-training）通过对比学习将图像与文本映射到同一语义空间，首次实现了大规模图文对齐预训练，奠定了现代多模态模型的基础范式。其核心机制是：将图像和对应文本分别通过视觉编码器和文本编码器映射为高维向量，训练目标是让匹配的图文对在向量空间中距离最近、不匹配的图文对距离最远。CLIP使用了4亿图文对进行训练，其零样本迁移能力证明了大规模对比预训练能够习得通用的视觉语义表示，这一发现深刻影响了此后所有多模态架构的设计选择。

Flamingo则引入了交叉注意力机制（Cross-Attention），允许语言模型在生成每个token时动态查询视觉特征，开创了「视觉条件化语言生成」的主流路线。与CLIP的静态对齐不同，Flamingo的交叉注意力层以文本token为Query、视觉token为Key和Value，让语言模型在生成过程中始终能够「回望」图像的不同区域，实现了更精细的视觉-语言交互。

LLaVA（Large Language and Vision Assistant，2023）作为一个里程碑式的开源架构，证明了只需用一个线性投影层将ViT输出的视觉token映射到语言模型的嵌入空间，配合指令微调数据，即可获得强大的多模态对话能力——这一「视觉编码器+投影层+LLM」的三段式极简范式相比Flamingo的交叉注意力方案大幅降低了训练成本，同时规避了将视觉模块深度嵌入语言模型内部可能带来的优化困难。LLaVA范式被InternVL、Qwen-VL等大量后续工作所继承，成为事实上的行业标准。

此后，GPT-4V、Gemini、Claude 3等闭源模型以及LLaVA系列、InternVL、Qwen-VL等开源模型相继涌现，推动了感知能力的大幅提升。然而，随着感知能力趋近饱和，视觉推理能力的缺陷逐渐成为新的研究焦点——即模型能看清图像，却无法在复杂推理链中可靠引用所见内容。这正是DeepSeek这篇论文试图正面突破的核心问题。

真正的瓶颈：不是「看不见」，而是「说不清」

如果你熟悉多模态研究，可能都有过这样的感受：模型其实能「看到」图像中的一切细节，推理起来却总是出错。

过去多模态系统主要攻克的是感知差距（perception gap）——即模型看不清足够的细节，解决思路包括提高分辨率、动态裁剪、增加图像token等。感知差距研究催生了一系列技术方案：AnyRes（任意分辨率）处理通过将高分辨率图像切分为多个子图分别编码再拼接全局特征；动态ViT分辨率根据输入图像的长宽比自适应调整patch网格，避免强制缩放导致的几何失真。这一方向的核心逻辑是：给模型更多、更高质量的视觉信息，推理自然会改善。

但如今真正的瓶颈已经转移到了引用差距（reference gap）：模型明明已经看到了细节，却无法在推理过程中可靠地「指回」它正在讨论的那个确切视觉实体。引用差距的本质是「指代消解」（Coreference Resolution）问题在视觉推理中的体现——自然语言处理领域早已发现，当代词或模糊名词短语跨越多个推理步骤时，模型容易发生指代漂移（reference drift）。指代消解是NLP最古老的难题之一，早在规则系统时代就有霍布斯（Hobbs）算法等经典方法，深度学习时代的神经网络虽大幅提升了准确率，但多步骤跨句推理中的指代链（coreference chain）仍是公认的脆弱环节。在视觉场景中，空间重叠、外观相似性和遮挡效应进一步放大了这一问题，导致模型在多步骤推理中极易将原本锁定的目标「换」成另一个外观相近的对象。当模型需要在第5步推理中引用第1步「看到」的某个具体物体时，语言描述的模糊性会导致指代失效，这与人类在纸上做数学题时若无法标注中间变量便容易出错的情形高度类似。

问题的本质在于：语言本身不是一个足够精确的视觉推理接口。当我们说「左边的熊」或「红色立方体后面的物体」时，听起来很精确，但图像中充满了重叠物体、密集布局、部分遮挡和大量模糊区域。当你让模型数清人群中的所有人，或走出一个迷宫，经过几步推理后，它很容易丢失正在追踪的对象或路径——因为追踪图像中位置的机制根本不存在。即便模型已经看过图像，它的思维链依然是用语言写成的，这就为幻觉、重复计数、遗漏物体、混淆空间关系留下了大量破绽。

核心思路：让模型「指着图」思考

DeepSeek的解法出奇地直接：与其强迫模型只用文字推理，不如让它在思考时真的能指向图像。

模型不必用语言描述「地上有一只熊」，而是可以说「这里有一只熊」，然后输出一个框住那只熊的边界框。面对迷宫时，它可以直接输出一串坐标，勾勒出穿过图像的实际路径。

具体来说，DeepSeek使用了两种视觉基元（visual primitives）：

• 边界框（bounding box）：当模型需要引用物体时使用，适合计数和物体定位；
• 点（point）：当模型需要对轨迹进行推理时使用，适合导航类、拓扑推理任务。

这些基元是模型内部推理的媒介，相当于思维链（Chain of Thought）中「词」在视觉上的对应物。思维链（CoT）由Google Research在2022年提出，其理论基础来自认知科学中的「工作记忆外显化」（Working Memory Externalization）概念：人类在解决复杂问题时会借助外部工具（纸笔、白板、草稿纸）将中间状态固化，以减轻大脑工作记忆的负担——心理学研究表明，人类工作记忆容量约为7±2个信息组块，外显化中间步骤能突破这一容量瓶颈，处理任意长度的推理链。研究发现，CoT的有效性高度依赖中间状态表示的「精度」——当问题涉及的中间量可以被符号精确表达时（如数学公式），CoT效果最佳；当中间量只能被模糊的自然语言描述时（如空间位置），CoT容易引入累积误差。视觉基元正是这一洞察的空间延伸：用坐标替代语言描述，将「空间中间状态」的表示精度从词粒度提升到像素粒度，坐标的精确性从根本上消除了语言描述空间位置时不可避免的模糊性。正因如此，论文标题是「Thinking with（用……思考）」而非「Grounding with（用……定位）」视觉基元——这个用词差异恰恰点明了论文的野心。

有意思的是，这并非玩具级实验。团队直接在最新的DeepSeek v4 flash（2840亿参数MoE模型，激活参数130亿）上进行了微调，并配套研发了自己的视觉编码器DeepSeek ViT。混合专家模型（Mixture of Experts, MoE）是一种条件计算架构：网络中包含多个并行的「专家」子网络，每次前向传播时由轻量级路由网络（Router）根据输入动态选择激活哪些专家，通常只激活Top-K个。DeepSeek v4虽拥有2840亿总参数，但每次前向传播仅激活约130亿参数，计算效率接近同规模稠密模型的1/20。MoE的参数扩展不增加推理成本的特性，使其成为超大规模模型的首选架构。在如此规模的基础模型上直接进行视觉微调，表明团队认为无需专门设计视觉感知架构，只需在通用推理模型上叠加视觉接口即可实现强大的视觉推理能力。

激进的图像压缩：瓶颈从来不是像素？

这篇论文架构上类似LLaVA：图像进入ViT，语言指令经过tokenizer，视觉token和文本token拼接后送入LLM，没有交叉注意力。真正有意思的是它对图像的激进压缩。

视觉token冗余问题是多模态模型效率研究的核心议题之一。ViT（Vision Transformer）将图像切分为固定大小的patch并对每个patch生成独立token，但图像信号具有远比文本更强的空间局部相关性——相邻patch往往共享大量语义信息，这种冗余在自然场景图像中尤为突出（背景区域、天空、地面等低信息密度区域占据大量token预算）。研究者已发现，ViT生成的视觉token中有相当比例对最终任务贡献极低，这催生了TokenPacker、LLaVA-PruMerge、FastV等一批压缩方法。借助其新的注意力机制CSA（Compressed Sparse Attention，压缩稀疏注意力），DeepSeek的压缩流程如下：图像先被切成14×14的patch，ViT后应用3×3空间token压缩（每9个相邻patch合并为1个视觉token），token进入LLM后CSA进一步将每4个视觉token压缩为1个KV缓存条目。CSA的设计在注意力计算层面直接对视觉token的KV缓存实施聚合，而非在token序列层面做删减，其优势在于模型可在保留全局位置编码的同时实现局部语义的自适应合并，且不会引入额外的token选择网络带来的训练不稳定性。这与MQA（Multi-Query Attention）让所有注意力头共享一组KV、GQA（Grouped-Query Attention）让分组头共享KV的压缩思路类似，但CSA专门针对视觉token的空间局部性做了优化，允许在语义相近的空间邻域内进行自适应合并，而非强制均匀分组。

以一张756×756的图像为例（约57.1万像素）：ViT先转成2916个patch token，经3×3压缩变成324个视觉token，再经CSA压缩后只剩81个视觉KV缓存条目。从原始像素到最终KV缓存，压缩比约为7056倍，比普通LLaVA风格的投影方案少用了36倍的KV缓存条目。

这一设计明显与过去多模态模型主攻的「感知差距」思路相悖。博主由此提出一个耐人寻味的观点：也许瓶颈从来不是你看到多少像素，而是你的视觉推理能否真正推理到位。 当模型失败时，究竟是因为没有足够的视觉信息，还是因为有信息却无法在推理时可靠地引用？这或许正是论文尚未完全回答、也可能是它被撤下的原因之一。

四类任务的针对性训练

团队针对纯语言视觉推理的不同失败模式，构建了四类任务的训练数据。所有坐标归一化到0-999，与分辨率无关。

计数：检测-定位-筛选-统计

模型计数失败通常是因为无法维持物体身份。因此模型被训练成先识别意图，用框定位所有候选物体，再从已定位集合中计数。粗粒度计数（如「图中有几个男人」）采用批量定位，一次性框出所有相关物体再求和，避免重复枚举；细粒度计数（如「地上有几只熊」）则先框出所有熊，再筛选满足条件的——爬树的熊被排除，站在岩石或泥土上的被计入。

空间推理：真实场景 + 合成场景

团队同时使用GQA真实场景和CLEVR风格的合成3D场景。GQA（Graph Question Answering）是斯坦福大学发布的视觉问答基准，其特点是基于场景图（Scene Graph）生成结构化问题，每个问题都有对应的功能表达式（Functional Program）标注推理步骤，适合测试多跳视觉推理能力。CLEVR（Compositional Language and Elementary Visual Reasoning）则由MIT提出，使用程序化生成的3D几何场景，每个物体都有精确的3D坐标、属性标签和物体ID，可以生成每一步都映射到具体物体的多跳问题，甚至把3D坐标投影回2D框来监督整条推理路径，而不只是最终答案。真实场景关系更贴近现实但更杂乱、标注不完整；CLEVR虽然视觉简单，但其程序化生成的精确ground truth能够为中间推理步骤提供监督信号，两者的互补性使训练数据兼顾了分布多样性与标注精度。

拓扑推理：迷宫与路径追踪

迷宫不是物体检测问题，而是连通性问题。将迷宫求解类比为DFS（深度优先搜索）不仅是一个算法上的比喻，更揭示了视觉推理与符号推理之间的深层同构性：DFS的核心数据结构是显式维护的「待访问节点栈」和「已访问节点集合」，这两个结构在纯语言推理中只能依靠语言描述隐式维护，极易发生状态混淆；而当模型输出坐标点序列时，相当于将「已访问路径」外显化，模型在每一步只需判断当前坐标的邻域连通性，无需在语言空间追踪全局状态。图论中，迷宫本质上是一个稀疏无向图的最短路径问题，DFS的显式栈结构与视觉基元点序列之间的对应关系，揭示了「空间状态外显化」与「算法状态外显化」在信息论层面的等价性。

模型用点作为推理基元，识别起点终点，然后输出类似DFS的探索轨迹。团队甚至制造了「无解迷宫」——在可解迷宫的正确路径中间放置墙壁，迫使模型真正推理连通性而非模式匹配。这是区分「真正推理」与「模式记忆」的经典测试手段，与算法竞争中用极端边界情况检验程序正确性的思路完全一致。

路径追踪则是最难的挑战：模型要沿着缠绕的曲线从一点追踪到另一点。当两条线交叉时，人类会依据局部几何连续性继续追踪同一条曲线，而纯语言模型很难精确描述。模型的解法是输出曲线上一系列点作为路标，且密度自适应——直线段用点少，曲线或密集交叉处用点多，相当于模型学会了在视觉推理变难时「放慢速度」。这种自适应采样密度的行为是一个涌现现象：训练目标并未显式要求密度变化，但模型在强化学习过程中自发习得了「困难区域需要更细粒度表示」的策略，与人类绘制路线图时在复杂路口标注更多细节的直觉行为高度吻合。

训练策略与基准表现

团队共构建了60.4万条数据（含46万迷宫导航、12.5万路径追踪等），先分别训练两个SFT模型——一个专攻框、一个专攻点——早期分离是为了避免模型混淆该用哪种基元格式。

随后用GRPO对每个专家模型做强化学习。GRPO（Group Relative Policy Optimization）是DeepSeek团队提出的强化学习算法，是PPO（Proximal Policy Optimization）的改进变体。PPO是OpenAI于2017年提出的主流策略梯度算法，其核心是通过裁剪（clipping）机制限制策略更新幅度，防止更新过大导致训练不稳定；但PPO需要同时训练策略网络（Actor）和价值网络（Critic），价值网络参数量通常与策略网络相当，训练成本近乎翻倍，且价值网络的估计误差会引入额外方差，在语言模型这类参数量达数十亿的场景下尤为突出。GRPO的核心创新是用「组内相对排名」替代价值网络——对同一问题采样N个不同输出，以组内平均奖励作为基线，输出的优势（advantage）等于其奖励减去组内平均奖励再做归一化。这一设计完全消除了价值网络，同时通过组内对比自然校正了奖励尺度的绝对偏差，使得奖励信号的相对排序信息比绝对值更可靠地指导策略更新。DeepSeek-R1的成功已验证了GRPO在推理任务上的有效性，此处将其扩展到视觉推理领域。

为此，论文设计了三类奖励——格式奖励（检查基元语法是否有效、是否重复）、质量奖励（LLM判断推理是否冗余、是否自相矛盾、是否伪造ground truth作弊）、准确率奖励（任务特定，如计数用平滑指数奖励、路径追踪用双向轨迹奖励防止作弊）。关键细节在于：RL阶段并不直接监督中间的框或点，而是通过最终行为质量的反馈间接引导中间推理步骤的形成——这种「不直接监督中间步骤、只奖励最终行为质量」的设计哲学，与过程奖励模型（PRM，Process Reward Model）和结果奖励模型（ORM，Outcome Reward Model）之争中后者的核心主张一致：PRM对每个中间推理步骤给出奖励，需要大量高质量的步骤级标注，且容易被模型「游戏化」（通过满足步骤形式而非实际推理质量获得奖励）；ORM只对最终答案的正确性给出奖励，标注成本低且难以被形式化欺骗，但对模型中间推理能力的要求更高——DeepSeek此处的选择表明，只要最终奖励设计足够精确，模型有能力自发习得合理的中间步骤，包括何时使用边界框、何时使用点序列。最后通过拒绝采样微调和on-policy蒸馏，将两个专家合并为一个统一模型。

基准结果在「引用是瓶颈」的任务上大幅领先：

• PixmoCount计数：89.2，略高于Gemini 3 Flash；
• 细粒度计数：88.7，比较模型中最佳；
• 空间推理：98.7；
• 迷宫导航：66.9%，而多数前沿模型仅在49-51%；
• 路径追踪：56.7%，远超GPT（46.5%）、Gemini 3 Flash（41.4%）、Claude（30.6%）。

视觉推理的「草稿纸」时刻

博主给出了一个精妙的类比：这篇论文对视觉推理的意义，就像Scratchpad（草稿纸）之于数学推理。只不过模型写下的不是中间等式，而是中间的空间锚点。Scratchpad方法最早由Nye等人于2021年提出，随后被CoT研究所发展，其核心洞察是：复杂推理任务中，中间状态的外显化比直接预测答案更重要——它让有限的注意力窗口得以处理超出其「工作内存」容量的任务。从信息论角度看，Scratchpad本质上是将推理复杂度从「单步映射的输入-输出互信息」分解为「多步中间变量的条件互信息链」，每一步的条件互信息远小于单步的总互信息，更易被有限容量的神经网络精确建模。视觉基元正是将这一洞察从符号空间延伸到了图像空间：当推理对象是视觉实体而非数值或逻辑关系时，语言token的表达精度不足以充当可靠的中间状态，而边界框坐标和点序列则提供了与图像坐标系直接挂钩的精确锚点，将推理链中的空间不确定性压缩至接近于零。

道理其实很朴素：如果有人只用「慢慢往上，再往下，再往左，再往右」这样的纯语言指导你走迷宫，而没有任何参照点，你很快就会迷失方向；但一旦有了坐标或可追踪的点，一切都变得简单。

这也揭示了一个更深层的判断：视觉理解远未被解决，即便在前沿领域也是如此。 模型不仅需要「看到」图像，更需要一种精确的方式来「对自己谈论」图像——而这正是视觉基元所提供的。引用差距的发现意味着多模态研究的重心正在从感知层转向推理层，这对整个领域的架构设计（如何让坐标表示与推理链深度融合）、数据构建（如何生成带有中间视觉锚点的推理轨迹）和评测体系（如何区分「看到」与「推理到」）都将产生深远影响。尽管论文用到的原料并不新，但组合原料的方式确实带来了新意。至于DeepSeek为何在4小时后撤稿，或许要等正式版本发布才能知晓答案。

核心要点