PatternBloom：用图模式外化RL蒸馏，让智能体RAG学会推理

智能体RAG（Agentic RAG）正在成为检索增强生成的主流范式，但它的天花板也愈发明显：无论检索的是文本段落、知识图谱片段还是超边，推理路径始终困在语言模型的隐状态里。声明性知识（读什么）与程序性知识（怎么推理）被混为一谈，导致检索方法在推理深度增加时性能趋于停滞。PatternBloom 提出了一种新思路——把检索的单位从“内容”换成“逻辑”，并通过强化学习将推理模式外化为可复用的图结构。

从内容检索到逻辑检索：问题出在哪

现有 RL 训练的 RAG 智能体，通常以最终答案的结果奖励来监督训练。模型学会的是“从检索到的内容中拼出答案”，但同类型查询反复需要的推理步骤——比如多跳比较、因果链追溯、集合求交——并没有被显式建模。这些程序性知识每次都要在隐状态中重新推导，推理越深，重复劳动的代价越大。

PatternBloom 的作者指出，这正是 content-only 方法在推理深度增长时陷入平台期的根本原因。检索内容本身没有错，错的是缺失了一个独立的、可复用的推理骨架层。

声明性知识与程序性知识的区分源自认知科学：前者指“知道是什么”（如事实、概念），后者指“知道怎么做”（如推理步骤、操作序列）。在 RAG 系统中，检索到的文本段落、图谱片段属于声明性知识，而多跳比较、因果追溯等推理流程属于程序性知识。传统方法将两者混合在语言模型的隐状态中处理，导致程序性知识无法被显式复用。PatternBloom 的核心洞察正是将二者解耦，让程序性知识以图结构的形式外化存储。

两阶段 RL：先学模式，再学用模式

PatternBloom 的框架分为两个强化学习阶段，中间夹着一个模式记忆库。

第一阶段：Information-Density Reward 筛选证据图

智能体在查询时构建一张证据图，第一阶段用冻结的 oracle 计算该图带来的信息增益，并设计 Information-Density Reward（IDR）作为规模归一化的互信息代理指标。IDR 的关键在于“密度”：不是证据越多越好，而是单位证据带来的信息增益要高。这避免了奖励模型鼓励堆砌检索内容的倾向。

互信息衡量两个变量之间的统计依赖程度，此处指证据图与正确答案之间的信息共享量。直接计算互信息通常不可行，因此需要代理指标。IDR 采用“规模归一化”的互信息代理，即用信息增益除以证据图的规模（如节点数或边数），从而奖励“单位证据信息量高”的图，而非单纯堆砌证据。这种密度式奖励设计能有效防止智能体通过检索大量低质内容来刷高奖励。

Graph Pattern Memory：把高分轨迹蒸馏成推理骨架

高奖励的轨迹不会直接拿来当训练样本，而是被蒸馏为类型抽象的推理骨架，存入 Graph Pattern Memory（GPM）。这一步是整个方法的核心——“类型抽象”意味着记忆里存的不是具体某次查询的证据内容，而是这一类逻辑的推理步骤结构。程序性知识由此从隐状态中被剥离出来，成为外部化、可检索、可复用的结构先验。

类型抽象指从具体实例中提取出适用于同类问题的通用结构。例如，多次“多跳比较”查询可能涉及不同实体和关系，但它们的推理步骤序列（如先找A的属性，再找B的属性，最后比较）是相同的。GPM 存储的正是这种去掉具体内容后的步骤骨架，使得模式可以跨查询复用。这类似于程序中的函数抽象：定义一次，多处调用。

第二阶段：Pattern-Augmented Reward 让策略对齐记忆

第二阶段用 Pattern-Augmented Reward（PAR）把策略与记忆耦合起来。模型不仅要答对，还要在推理过程中调用匹配的图模式。这样，程序性推理从“每次现场推导”变成了“学习匹配并复用已有模式”。

强化学习中的奖励设计直接影响策略学习的方向。结果奖励（outcome reward）只关注最终答案对错，容易导致模型学会“捷径”而忽略推理过程；过程奖励（process reward）则对中间步骤进行评价。PatternBloom 的两阶段设计实际上结合了二者：第一阶段用 IDR 作为过程奖励来筛选高质量证据图，第二阶段用 PAR 同时奖励答案正确性和模式匹配，从而引导策略学习可复用的推理路径。

结果与意义：7B 模型超越 27 个基线

论文给出的核心数据是：7B 规模的 PatternBloom 在 Avg-OOD EM 上超过 27 个基线 +15.0。更关键的观察是，这一增益会随推理深度增加而复合放大，因为蒸馏后的程序性知识被复用，而不是在每次查询时重新推导。

这一结果验证了作者的核心论点：将程序性知识外化为结构先验，是突破内容检索平台期的有效路径。对于智能体 RAG 的研究者来说，PatternBloom 提供了一个可复现的起点——代码已在 GitHub 开源（EllenYiGe/PatternBloom）。

值得关注的开放问题

PatternBloom 的价值在于提出了一种新的抽象层次，但它也留出了若干待解问题。GPM 中模式的数量与粒度如何随任务分布扩展，类型抽象的边界如何界定，以及冻结 oracle 的信息增益估计在开放域任务中是否仍然可靠，都是后续工作可以深入的方向。程序性知识的外化能否跨任务迁移，也值得进一步验证。