LLM智能体何时该问人？CVD框架优化人类决策分配

大型语言模型正越来越多地自动化复杂任务，但人类决策能力并未随模型能力同步扩展。在许多应用中，人类仍然不可或缺——他们提供智能体无法获取的私有上下文、权威或判断。然而，人类注意力是稀缺资源，智能体不可能事无巨细地咨询人类。如何将有限的人类决策能力分配到最关键的问题上，成为一个亟待解决的难题。近期一篇论文提出了“人类决策容量分配”问题，并给出了一种名为“咨询价值蒸馏”（Consultation Value Distillation, CVD）的解决方案。

问题定义：人类决策容量分配

论文将问题形式化为：给定多个咨询机会和有限的人类决策预算，LLM智能体应该在哪些决策点上咨询人类？核心挑战在于估计“咨询价值”，即人类输入对最终任务结果的贡献程度。这种价值是执行者相关的——同一个人类输入，对于不同的下游智能体（执行者），可能产生截然不同的收益。例如，一个擅长代码生成的智能体可能从人类对算法选择的建议中获益匪浅，而一个擅长文案的智能体则可能更看重人类对语气和风格的指导。因此，咨询价值不能脱离具体执行者来孤立评估。

执行者（executor） 在本文中指实际执行任务、调用工具或生成最终输出的下游LLM智能体。咨询价值之所以具有执行者相关性，是因为人类建议需要被执行者理解、采纳并转化为行动；不同执行者的能力分布、知识盲区和推理风格不同，同一建议被吸收的程度因而不同。例如，人类提示“使用动态规划优化时间复杂度”，对具备算法知识的执行者可直接落地，对缺乏相关训练的执行者则可能被忽略或误用。因此，CVD在估计咨询价值时，将执行者作为价值函数的条件变量，而非假设存在一个通用的“人类输入价值”。这要求离线推演必须针对目标执行者进行，也意味着更换执行者后价值预测器需要重新训练或至少重新校准。

CVD框架：离线学习咨询价值

为了解决咨询价值估计的难题，研究者提出了咨询价值蒸馏（CVD）。其核心思想是：利用蒙特卡洛执行者推演（Monte Carlo executor rollouts）在离线阶段估计咨询价值，然后将这些价值蒸馏到轻量级预测器中，以便在部署时进行预算分配。这样，部署阶段就无需再进行基于推演的价值估计，大幅降低了计算开销。

CVD的关键创新在于联合价值学习和延续感知价值学习。联合价值学习考虑多个咨询点之间的相互影响，而延续感知价值学习则考虑咨询决策的序列性——一次咨询可能改变后续决策的价值。通过这两种机制，CVD能够更准确地分配有限的人类咨询预算。

蒙特卡洛执行者推演（Monte Carlo executor rollouts） 是CVD离线估计咨询价值的基础手段。其做法是：在训练阶段，对每个候选咨询点，模拟“咨询人类”与“不咨询人类”两种分支，并让目标执行者从该点开始多次随机采样后续执行轨迹（即rollout），以经验分布近似任务成功概率或收益。咨询价值可定义为两种分支期望收益之差。由于LLM生成具有随机性，单次推演噪声较大，蒙特卡洛方法通过多次采样降低方差。代价是推演次数随咨询点数量增长，计算开销较高，这正是CVD需要将价值蒸馏到轻量预测器、以便部署时避免实时推演的原因。推演监督的减少意味着可用更少采样估计价值，但会引入偏差，论文对此进行了稳健性分析。

实验设置与主要结果

论文在五个批处理设置和三个序列设置中进行了实验，使用了两个前沿执行者。结果表明，CVD通过联合和延续感知的价值学习改进了分配效果。说个细节，独立的咨询价值（即不考虑咨询点之间相互影响的价值估计）在多个设置中仍然具有竞争力，这提示在某些场景下简单方法也能奏效。

与直接提示（direct prompting）和适用于特定场景的信息价值（Value of Information）方法相比，CVD在广泛场景中表现更优。此外，CVD在推演监督大幅减少的情况下仍保持稳健，并且能够在低搜索成本下实现近乎无损的近似分配。这意味着CVD不仅有效，而且在实际部署中具有较好的可行性。

信息价值（Value of Information, VoI） 是决策论中的经典概念，衡量在做出决策前获取额外信息所能带来的期望收益增量。在本文语境下，VoI方法通常针对单个咨询点独立计算“获取人类输入”相对于“不获取”的价值，并据此排序分配预算。它与CVD的关键区别在于：经典VoI往往假设信息价值可加或忽略咨询点之间的相互影响，而CVD通过联合价值学习和延续感知价值学习显式建模咨询决策的序列依赖与交互效应。此外，VoI需要已知或假设人类输入的概率分布，CVD则通过推演直接估计执行者相关的经验价值，因而更适配LLM智能体的开放任务场景。

启示与展望

CVD框架为LLM智能体的人类咨询策略提供了一种数据驱动的方法。它强调了咨询价值的执行者相关性，并展示了离线学习与轻量级预测器结合的潜力。未来，如何进一步降低推演成本、适应动态环境以及处理多人类咨询场景，将是值得探索的方向。

对于构建实用LLM智能体的开发者而言，CVD提供了一种思路：与其让智能体盲目咨询或完全自主，不如通过离线学习来量化人类输入的价值，从而在有限的人类预算下最大化任务成功率。随着LLM能力的持续提升，人类决策的瓶颈效应将更加凸显，类似CVD的分配机制或将成为智能体系统的标配组件。

批处理设置与序列设置 是论文评估CVD的两种任务组织方式。批处理设置指智能体面对一组彼此独立的决策点，需在总咨询预算约束下选择咨询哪些点，咨询顺序不影响各点价值，重点考察联合价值学习对组合选择的优化。序列设置指决策点按任务执行顺序展开，一次咨询会改变后续状态和后续咨询的价值，重点考察延续感知价值学习对序列决策的建模。两类设置覆盖了从静态预算分配到动态序贯决策的谱系，CVD在两者上均表现良好，说明其框架对不同任务结构具有一定通用性。