贝叶斯智能体蒸馏进8B模型：主动提问能力大幅提升

语言模型在交互任务中往往缺乏显式的不确定性跟踪机制，难以像人类一样通过主动提问来高效获取信息。一项新研究尝试将变分贝叶斯智能体的信息搜寻能力蒸馏到80亿参数的语言模型中，在多个多轮谜题任务上取得了显著突破。

问题背景：语言模型缺少显式信念状态

交互式任务——例如 eliciting 用户偏好或诊断隐藏机制——要求智能体维护对潜在状态的不确定性，提出有信息量的问题，并根据回答采取行动。贝叶斯信息搜寻通过后验推断和期望信息增益（EIG）为这一过程提供了数学框架，但语言模型本身并没有这样的显式机制。

研究团队提出的核心问题是：能否将贝叶斯信息搜寻能力蒸馏进一个8B规模的语言模型？他们设计了一个轻量级贝叶斯教师智能体，使用序列变分信念和EIG查询选择策略，在三个任务族上与精确推断和粒子滤波参考方法持平或接近。

期望信息增益（Expected Information Gain, EIG） 是贝叶斯实验设计的核心指标，用于量化一个候选问题或观测在期望意义上能减少多少关于隐藏状态的不确定性。对于候选查询 (q)，EIG 定义为观测到答案前后信念分布的期望熵减：(\text{EIG}(q) = H(\text{prior}) - \mathbb{E}_{a \sim p(a|q)}[H(\text{posterior}|a)])。直观上，EIG 最高的查询是那些最可能将概率质量重新分配、从而最有效缩小候选集的问题。在交互式任务中，智能体每轮对所有可行查询计算 EIG 并选择最大值，即可实现近似最优的信息搜寻。这一指标与“20 问题”游戏中的最优二分策略一脉相承，也是本文教师智能体选择查询的依据。

蒸馏方法：信念状态作为结构化草稿本

研究的关键设计在于让学生模型不仅模仿教师的查询，还复现其信念状态——以结构化草稿本（scratchpad）的形式输出。训练数据来自教师在与基准不重叠的合成交互片段上生成的对话，学生模型通过微调学习预测教师的查询和信念状态。

这种设计将信念状态显式暴露出来，使得原本隐式的决策计算变得可观察。论文指出，在决策依赖于隐式计算而非直接读取交互内容的情况下，暴露信念状态能弥补大部分差距。

变分贝叶斯方法 用参数化的近似分布 (q_\phi(z)) 逼近难以精确计算的后验 (p(z|\text{history}))，通过优化证据下界（ELBO）来训练。在序列交互场景中，信念状态随每轮观测递归更新，变分方法允许智能体以摊销（amortized）的方式高效推断，而不必对每个新对话重新运行昂贵的粒子滤波。本文的教师智能体正是采用序列变分信念：用神经网络编码交互历史并输出潜在状态的近似后验，再基于该后验计算各候选查询的 EIG。这种设计使得教师可以在合成数据上大规模生成带信念标注的对话，为后续蒸馏提供监督信号。

实验结果：多项任务性能跃升

在三个Multi-Turn Puzzles任务上，蒸馏后的学生模型表现突出：

• Circuit Decoding：成功率从0.00提升至0.93
• 电影推荐：推荐电影归一化排名从0.50降至0.10
• 猜词任务：尝试次数从32次削减至3.4次

在两个可比较的任务上，该学生模型超过了此前报告的最强语言模型。

Multi-Turn Puzzles 是评估交互式信息搜寻能力的一组基准任务，要求智能体在多轮问答中通过主动提问来识别隐藏目标。Circuit Decoding 要求智能体通过探测输入输出对来推断一个未知的逻辑电路；电影推荐任务中智能体需通过提问缩小用户偏好的电影范围；猜词任务则类似“20 问题”游戏，智能体需在有限轮次内猜出隐藏词。这些任务的共同点是：答案空间大、每轮查询有成本、最优策略依赖于对后验的精确维护。成功率、归一化排名和尝试次数分别衡量最终是否正确、推荐质量以及信息搜寻效率。

消融与对比：EIG监督优于随机查询

在匹配的教师对比实验中，EIG监督始终优于随机查询策略，说明信息增益指导的提问方式确实带来了可迁移的收益。然而，更高的推断保真度并不均匀地提升蒸馏学生模型的表现，暗示信念状态的结构化输出可能比精确的后验匹配更为关键。

一个值得关注的发现是：70B语言模型教师在下游学生性能上并不及贝叶斯教师。这表明单纯的模型规模扩大无法替代贝叶斯信息搜寻的原理性优势。此外，学生模型学到的技能无法迁移到未见过的任务族，说明当前蒸馏方法的泛化能力仍有局限。

知识蒸馏 通常指让学生模型模仿教师模型的输出分布或中间表示。本文的蒸馏属于序列级行为克隆：训练数据是教师在合成交互中生成的完整对话轨迹，学生不仅学习教师的最终答案，还学习其每轮输出的信念状态草稿本。与传统的 logit 匹配不同，这种“结构化草稿本”监督将教师的隐式计算过程外显为可学习的文本序列，从而把贝叶斯推断的算法逻辑压缩进语言模型的参数中。这解释了为何更高推断保真度并不均匀提升学生表现——关键在于草稿本格式是否提供了可泛化的计算脚手架，而非后验数值的精确匹配。

意义与局限

这项工作展示了将变分贝叶斯信息搜寻摊销到语言模型中的可行性——通过传递驱动提问和决策的信念状态来实现能力迁移。对于需要多轮交互、信息收集和不确定性管理的AI应用而言，这一思路提供了一条不依赖更大模型规模的技术路径。

局限同样明显：跨任务泛化尚未实现，学生模型在全新任务类型上无法复用所学技能。未来的改进方向可能包括更丰富的训练任务分布，或引入元学习机制来提升迁移能力。