[控场AI]
· 5 分钟阅读· 2,871 字

DeReAct:解耦推理与执行,让AI智能体更可靠

DeReAct:解耦推理与执行,让AI智能体更可靠

DeReAct将动作验证与完成认证从主模型中外部化,系统性解决ReAct架构的错误传播与自我终止问题。

ReAct范式让单一大语言模型同时负责规划、执行与验收,导致错误沿推理链扩散、智能体基于无依据声明提前终止的结构性风险。DeReAct通过引入两个独立外部组件——负责动作预审的Critic和负责完成认证的Context Manager——将"做决策"与"审决策"职责解耦。实验在GAIA和SWE-bench Verified基准上表明,外部把关对弱模型效果最显著(Qwen3-Coder-480B提升6.5-7.0分),随主模型能力增强收益递减;对强模型Claude Opus 4.5虽未提升Pass@1,但轨迹更具证据完整性与约束一致性。该架构可作为通用可靠性增强层叠加于现有系统,无需重训主模型,代表了智能体设计从单体式向模块化演进的重要方向。

ReAct智能体的结构性缺陷

当前主流的AI智能体大多基于ReAct范式构建。这类系统依赖单一的大语言模型策略同时承担三项职责:提出下一步动作、与环境交互、以及判断任务何时完成。看似高效的设计背后隐藏着一个结构性问题——所有职责耦合在一个策略里,导致动作授权和完成控制难以独立执行。

这种耦合带来两个典型风险。一是错误会在推理链条中不断传播,前一步的误判会污染后续所有决策;二是模型可能基于缺乏依据的"完成声明"提前终止任务执行,也就是说智能体以为自己做完了,实际上并没有真正解决问题。对于需要高可靠性的任务场景,这种不受约束的自我判断是致命的。

DeReAct: Decomposed Reasoning and Acting for Reliable AI Agents

ReAct(Reasoning + Acting)是由Google Research于2022年提出的智能体范式,核心思想是让大语言模型在执行任务时交替生成"思考"(Thought)和"行动"(Action)步骤,并将环境返回的观察结果(Observation)纳入后续推理。这种"思考-行动-观察"的循环赋予了模型一定的规划与自我修正能力,是目前AutoGPT、LangChain Agent、OpenAI Function Calling等主流框架的底层逻辑基础。然而ReAct的设计初衷更多指向"让模型能做到",而非"确保模型做得可靠"。在单一模型同时扮演规划者、执行者和验收者的架构下,模型的自信程度与实际任务完成质量之间缺乏独立的校验机制,这在工具调用出错、上下文窗口过长或任务链条复杂时会迅速暴露出来。

DeReAct的模块化破局思路

针对上述痛点,这项研究提出了DeReAct——一种模块化的智能体架构,核心思想是把两个关键的"把关策略"从主模型中外部化出来,形成独立的控制组件。

第一个组件是Critic(评审者)。它的职责是在动作真正执行之前对其进行验证,相当于给智能体加了一道动作授权的闸门。只有通过评审的动作才被允许作用于环境,从而阻断错误动作的扩散。

第二个组件是Context Manager(上下文管理器)。它负责重建一个由环境支撑的State(状态),并对任务完成情况进行认证。换句话说,任务是否真正完成不再由主模型自说自话,而是交由一个有环境证据支撑的独立模块来裁定。这直接解决了"无依据完成声明"的问题。

这种设计的本质是职责解耦:把"做决策"和"审决策"分开,把"干活"和"验收"分开。推理(Reasoning)与执行(Acting)被拆解到不同的策略中,这也正是DeReAct(Decomposed ReAct)名称的由来。

实验结果:弱模型获益最大

研究团队在GAIA和SWE-bench Verified两个基准上评估了DeReAct,结果呈现出一个清晰且耐人寻味的规律:外部把关对能力较弱的主模型(Brain Model)提升最明显,而随着主模型能力增强,收益逐渐递减。

具体数据上:

  • 对于Qwen3-Coder-480B,Pass@1提升达到6.5至7.0个百分点;
  • 对于Claude Sonnet 4.5,提升为4.2至5.2个百分点;
  • 对于更强的Claude Opus 4.5,Pass@1与原始ReAct基本持平。

这个趋势背后的逻辑并不难理解。轨迹分析和消融实验显示,外部把关之所以有效,需要满足两个前提条件:一是目标类型的失败在原始轨迹中足够普遍(即确实有错可纠),二是把关策略本身足够强(即纠错者得比被纠者更靠谱)。弱模型犯的错多,Critic和Context Manager能拦住的错也就多;而强模型本身失误少,外部把关的边际价值自然下降。

GAIA(General AI Assistants)是一个专为评估通用AI智能体设计的基准,任务要求智能体综合运用网页搜索、文件处理、代码执行等多种工具来回答现实世界中的问题,以Pass@1(一次尝试直接成功的比例)为核心指标。SWE-bench Verified则聚焦于软件工程场景,要求智能体基于真实GitHub Issue自动生成并验证代码补丁,是衡量代码智能体能力的权威基准之一,"Verified"子集经过人工筛选,确保每个问题都有明确可验证的答案。两个基准覆盖了通用任务理解与专项代码推理两个维度,共同构成对智能体可靠性的全面压力测试。

完成控制:用提前终止换取更强落地

在Claude Opus 4.5这类强模型上,DeReAct虽然没有拉高Pass@1分数,但它带来了另一层价值——轨迹质量的改善。

实验表明,启用DeReAct后,智能体产生的轨迹更加"证据完整"(evidence-complete)且更符合约束条件(constraint-satisfying)。这意味着完成控制机制实际上是在做一笔权衡:牺牲一部分"更早终止"的效率,换取"更强的落地与接地"(grounding)。对于那些对结果可信度要求高于速度的任务,这种权衡显然是划算的。

换个角度看,这揭示了一个重要观点:对于强模型,可靠性的瓶颈可能不再是"能不能做对",而是"做对的过程是否可追溯、可验证"。DeReAct恰好在这个维度上提供了保障。

Grounding(接地/落地)在AI语境中指模型的输出与真实世界状态、外部证据之间的对应关系。一个"well-grounded"的结论意味着它有可追溯的证据链支撑,而非仅凭模型内部的参数记忆生成。在智能体系统中,grounding尤为关键——智能体声称"任务完成"时,这个声明究竟是基于真实的环境反馈,还是模型基于训练分布的惯性猜测,往往难以区分。DeReAct的Context Manager通过强制要求完成声明必须由环境状态证据背书,实质上是在为智能体的每一个"收工"决定建立可审计的证据链,这对金融、医疗、代码部署等高风险场景中的合规要求尤为重要。

对智能体工程的启示

DeReAct整体上实现了一个理想的性质:它在提升弱智能体表现的同时,即便模型能力增强也能保留接地(grounding)方面的收益。换句话说,这是一个"下有保底、上不拖累"的架构选择。

从工程实践的角度,这项研究给出了几点值得借鉴的方向。模块化的把关机制可以作为通用的可靠性增强层,叠加在现有ReAct智能体之上,而不需要重训主模型。同时,是否引入外部把关应当视主模型能力和任务失败模式而定——盲目给强模型加把关可能收效甚微,但针对易错环节的定向把关则性价比很高。

随着AI智能体从演示走向生产环境,"可靠性"正在取代"能力"成为新的核心议题。DeReAct这类将控制逻辑外部化、显式化的架构,代表了智能体设计从单体式向模块化演进的一个方向。

#DeReAct#AI智能体#ReAct架构#大语言模型#智能体可靠性#GAIA基准#SWE-bench#模块化Agent
分享:

相关推荐