HiVe-Mem：多维记忆框架让多模态智能体更高效

多模态智能体在与用户长期交互中积累了大量历史信息，如何高效检索和利用这些信息成为关键挑战。现有记忆系统通常依赖对压缩记忆的语义检索，并暴露预定义的表示形式，这可能导致遗漏相关记忆，也无法适应不同查询对异构证据的需求。针对这一问题，研究者提出了HiVe-Mem——一个交错水平记忆扩展与垂直证据组合的多模态记忆框架。

现有记忆系统的局限

当前的多模态智能体记忆方案大多遵循“压缩-检索”范式：将历史交互压缩成紧凑表示，再通过语义相似度检索相关片段。这种做法的弊端在于，压缩过程会丢失细节，语义检索也可能错过那些表面上不相似但实际互补的记忆。此外，不同查询对证据形式的需求差异很大——有的问题需要概括性摘要，有的则需要细粒度的视觉定位或原始图像。预定义的单一表示难以满足这种多样性。

HiVe-Mem的出发点是同时拓宽记忆的覆盖范围，并让每条被检索到的记忆能够按查询需求灵活贡献不同形式的证据。

语义检索通常指将查询和记忆片段分别编码为稠密向量，再通过余弦相似度等度量找出最接近的片段。其核心假设是“语义相近即相关”，但在长期多模态交互中，相关记忆可能以不同模态或不同抽象层级出现，向量空间中的邻近性未必对应任务所需的情境互补性，因此仅靠语义检索容易产生召回盲区。

预定义表示形式是指系统在存储阶段就固定记忆的粒度与模态（如只存摘要或只存文本描述），检索时无法改变。这种刚性设计在查询需求多样时会造成两难：表示过粗则丢失细节，表示过细则带来冗余和token浪费。

水平记忆扩展：用关系图找回互补信息

HiVe-Mem将记忆片段组织成一个关系图，节点通过文本锚点和视觉锚点建立连接。当语义检索命中初始种子记忆后，系统会沿着图结构扩展其邻居节点，把语义上相关但未被直接检索到的记忆也纳入候选集。这一过程被称为“水平扩展”，它弥补了纯语义检索的盲区——那些与查询字面不匹配但在情境上互补的记忆得以被召回。

这种图结构的设计充分利用了多模态信息：文本锚点捕捉对话主题和实体，视觉锚点则关联图像内容，两者共同构成记忆之间的连接纽带。

文本锚点与视觉锚点可理解为记忆片段中用于建立关联的“钩子”。文本锚点通常是从对话中抽取的主题词、实体名或事件标签；视觉锚点则来自图像中的物体、场景或区域特征。当两个记忆片段共享或语义关联的锚点时，就在关系图中连边。这样，图结构同时编码了语言层面的主题连贯性和视觉层面的内容关联性，使得从种子节点出发的邻居扩展能够跨模态地召回互补记忆。

垂直证据组合：为每条记忆定制证据子集

在垂直维度上，HiVe-Mem让每条被检索到的记忆保留多种证据形式，包括紧凑摘要、描述文本、基于视觉定位的视图、原始图像以及交互历史。一个轻量级的可训练选择器会为每条记忆独立地组合出一个证据子集，从而根据具体查询自适应地利用异构多模态信息。

这意味着同一条记忆在面对不同问题时可以呈现不同的“面貌”：当查询需要宏观理解时，选择器可能偏向摘要；当查询涉及视觉细节时，则可能纳入原始图像或定位视图。这种查询自适应的证据组合机制，避免了统一表示带来的信息损失或冗余。

视觉定位（visual grounding）指将文本描述中的指代对象与图像中的具体区域对应起来，例如把“桌上的红色杯子”定位到图像中的边界框。基于视觉定位的视图即利用这种对应关系裁剪或高亮出与查询相关的局部图像，既保留了关键视觉细节，又比原始图像更紧凑。它介于纯文本描述与原始图像之间，为选择器提供了一种兼顾精度与效率的证据形态。

实验效果：性能提升与token消耗大幅降低

研究者在三个多模态记忆基准上进行了实验。结果显示，HiVe-Mem在不同基座模型上均能稳定提升任务表现，同时与最高效的竞争性多模态基线相比，token消耗降低了约90%。这一结果说明，通过精准的水平扩展和垂直证据组合，系统不仅看得更全，也用得更省——在提升效果的同时显著压缩了推理成本。

水平扩展与垂直组合两个维度相互配合：前者扩大记忆的召回覆盖面，后者优化每条记忆的证据贡献方式。这种二维设计共同作用，使多模态智能体在长期交互中既能记住更多，也能更聪明地使用记忆。

对多模态智能体记忆设计的启示

HiVe-Mem的思路提示我们，记忆系统不应只是被动的存储与检索管道，而可以主动构建记忆之间的关联结构，并赋予记忆灵活的表达能力。关系图扩展缓解了语义检索的局限性，多形式证据与可学习选择器则回应了查询需求的异质性。token消耗的大幅降低也表明，精细的证据选择可以替代粗放的全量上下文注入，为长期交互场景下的成本控制提供了可行路径。

对于构建需要长期记忆的多模态应用而言，这种兼顾覆盖广度与证据精度的设计值得借鉴。