CITA框架：让AI工具调用学会"三思而后行"

长程工具调用的核心难题

大语言模型（LLM）在处理复杂任务时，越来越依赖于一连串的工具调用。无论是搜索、计算还是调用外部API，每一次调用都会改变任务的当前状态，并直接影响后续的决策路径。这种"长程工具使用"（long-horizon tool use）场景，暴露出一个长期困扰研究者的问题：如何对链条中的每一步进行有效的价值评估。

当一个任务需要十几步甚至几十步工具调用才能完成时，仅凭最终结果给出的奖励信号（final-outcome rewards）显得过于单薄。这种"结果导向"的反馈很难准确地分配信用（credit assignment）——当任务失败时，模型无法判断究竟是哪一步调用出了问题；当任务成功时，也难以识别哪些中间决策真正起到了关键作用。

信用分配（Credit Assignment） 是强化学习领域的经典难题：当一个由多步决策构成的序列产生最终结果时，如何将功过归因到具体的某一步？在长程工具调用场景中，这个问题尤为棘手。假设一个任务历经20步工具调用后失败，失败可能源于第3步选择了错误的搜索策略，也可能是第17步API调用的参数有误——仅凭最终失败信号，模型无法区分这两种情况。这与监督学习不同，后者每个样本都有明确的标签；这里的"标签"（奖励）只在序列末尾出现一次，且高度稀疏。稀疏奖励加上长时间跨度，使得基于梯度的优化信号在反向传播过程中大幅衰减，模型极难从中提取有效的学习信号。

步骤级奖励为何难以获得

一个直观的解决思路是引入步骤级奖励（step-level rewards），为每一次工具调用提供更有针对性的反馈。但这条路径的代价并不低。

要获得可靠的步骤级监督信号，通常需要依赖人工标注、LLM的判断，或者通过额外的rollout（推演）来估计某个中间决策对下游结果的影响。这些方法要么成本高昂，要么难以规模化。更关键的是，这里存在一个结构性的信息缺口：真正有价值的监督应当是"比较性"的——在相同的上下文下，对比不同候选工具调用孰优孰劣。然而，已记录的历史轨迹里只保留了"实际被采纳"的那一次调用，其他潜在选项的后果完全缺失。

这意味着，模型从历史数据中学到的只是"做了什么"，而非"为什么这么做更好"。

CITA的核心思路：选择先于行动

论文提出的核心观点颇具启发性：一个高效的工具使用智能体，应当在执行某个工具调用之前，就先估计它的长程价值。换句话说，agent需要具备"三思而后行"的能力——在落子之前预判这一步对最终任务成功的贡献。

基于这一目标，研究者提出了 CITA（Comparative Inference for Tool-use Agents，工具使用智能体的比较推理框架）。其关键创新在于训练一个比较推理模型（Comparative Inference Model, CIM），专门用于估计"在当前上下文下，某个候选工具调用有多大概率支撑最终任务成功"。

这种设计巧妙地绕开了绝对价值评估的难题，转而聚焦于相对比较——这恰恰是决策过程中最本质的需求。

三路信号如何训练比较模型

CIM的训练依赖于成对的信号（paired signals），融合了三种互补的监督来源：

观测到的工具行为

第一路信号来自真实记录的工具调用行为。这部分数据反映了实际执行中的决策模式，是模型学习的基础锚点。

贝叶斯工具图模拟器

为了弥补历史轨迹只含单一选项的缺陷，CITA引入了一个贝叶斯工具图模拟器（Bayesian tool-graph simulator），提供可规模化的监督信号。通过对工具之间依赖关系的建模，模拟器能够生成大量关于"不同选择会导致什么结果"的对比样本，有效填补了反事实信息的空白。

贝叶斯工具图（Bayesian Tool Graph） 将工具之间的调用依赖关系建模为一个有向概率图：节点代表各类工具，边代表"调用A之后调用B"的条件概率。这种结构天然适合捕捉工具链中的顺序约束与互斥关系，例如"数据库查询"通常先于"结果过滤"，而"网络搜索"与"本地文件读取"在特定上下文中可能互为替代。通过在这张图上进行概率推断，模拟器能够在无需实际执行的情况下，估计"若第k步选择工具X而非Y，后续链条的成功概率将如何变化"。这正是生成反事实对比样本的关键机制——它以可规模化的方式弥补了历史轨迹中只有单一执行路径的根本缺陷，为CIM提供了大量"平行世界"中的比较信号。

LLM语义判断

第三路信号来自基于LLM的语义比较判断。借助大模型对候选调用在当前语境下的合理性进行评估，为训练注入了更丰富的语义理解维度。

这三种信号的组合，让CIM既有真实数据的根基，又有可扩展的反事实监督，还兼顾了语义层面的合理性判断。

实验表现与价值评估的准确性

研究者在三个工具使用基准测试上，结合多个不同的骨干LLM进行了验证。结果显示，CITA在 Tool F1 和 任务成功率 两项核心指标上都取得了一致的提升。这种跨基准、跨模型的稳定改进，说明该方法具备较好的通用性，而非针对特定场景的调优技巧。

进一步的分析表明，CIM确实学会了对比较性工具选择做出准确的步骤级价值估计。这一点尤为重要——它证明了模型并非仅仅在拟合最终结果，而是真正理解了中间决策的相对价值。

Tool F1 是衡量工具调用质量的常用指标，综合考量查准率（Precision）和查全率（Recall）：前者衡量模型调用的工具中有多少是确实必要的，后者衡量任务所需的工具中有多少被模型成功调用。这一指标比单纯的任务成功率更细粒度，能反映模型在工具选择上的精确程度，尤其适合评估长程场景中冗余调用或遗漏调用的问题。任务成功率则是端到端的最终指标，两者结合能够同时验证模型在局部决策质量和整体任务完成能力上的提升，避免出现"最终成功但路径低效"或"局部精准但组合失败"的片面结论。

对智能体研究的启示

CITA的意义不仅在于指标提升，更在于它重新定义了工具使用智能体的优化目标。将"选择先于行动"作为核心原则，把问题从难以获取的绝对价值监督，转化为更易处理的比较监督，这为长程决策任务提供了一条新的技术路径。

随着AI智能体在复杂任务编排中的应用日益广泛，如何让模型在执行前就权衡不同选项的长程后果，将成为决定其可靠性的关键能力。CITA用一个比较推理模型，为这个方向给出了值得关注的答案。