多估计提示无法统一去偏语言模型判断

引言

让语言模型在单次回复中给出五个加权估计，会改变它处理信息的方式吗？一项预注册研究对比了直接数值答案与多估计回复格式，在锚定、后见之明、基础比率、合取和现状/默认五类任务上的表现。结论是：多估计提示未能实现跨任务、跨模型的统一去偏或回应衰减。

锚定效应指个体在判断时过度依赖最初接触到的数值（锚），即使该数值与问题无关。经典演示中，先让被试转动随机数字轮盘，再估计非洲国家在联合国所占比例，结果估计值会随轮盘数字漂移。后见之明偏差指知道结果后高估自己事前预测准确性的倾向。基础比率谬误指忽视群体统计基准、过度依赖个案特征的判断倾向。合取谬误指认为两个事件同时发生的概率高于其中单一事件，典型如“琳达问题”。现状偏差指倾向于维持当前状态、不愿改变的决策倾向，常以默认选项效应体现。这些范式均来自行为经济学与判断决策研究，被广泛用于检验语言模型是否复现人类认知偏差。

实验设计：五种任务与三种模型配置

研究覆盖锚定、后见之明、基础比率、合取和现状/默认五类经典判断偏差任务。每种任务下，研究者比较直接数值答案与多估计回复格式，并控制来源框架、显式随机线索和概率一致性约束。评估了三种模型配置：gpt-6.1-sol、claude-sonnet-5.5 和 Qwen3-8B（禁用推理，仅作描述性分析）。前两种配置进入正式检验，Qwen3-8B 的结果仅作参考。

直接诱导：低偏差但保持敏感

在 gpt-6.1-sol 和 claude-sonnet-5.5 上，直接诱导产生的无关锚定指数和现状偏差效应接近零，同时对信息性来源和知情建议保持响应。这意味着模型并非对所有输入都“麻木”，而是能区分无关锚与有用信息。这一基线表现优于许多早期研究对语言模型判断偏差的悲观估计。

预注册检验：六个显著但效应量低于关注阈值

23 项预注册验证性检验中，经 Holm 校正后六项拒绝原假设。然而所有六项的绝对点估计均低于预先设定的最小关注效应量，且未建立等价性。换言之，统计显著不等于实际重要——效应存在但幅度小，无法支撑“多估计格式带来实质性去偏”的结论。

预注册指研究者在收集数据前公开登记假设、样本量、分析方案与判定标准，以减少分析自由度带来的假阳性。Holm 校正是一种控制族错误率的多重比较校正方法：将 p 值从小到大排序，第 k 小的 p 值与 α/(m−k+1) 比较，逐步拒绝。最小关注效应量（smallest effect size of interest）是等价性检验框架中的概念，研究者事先设定一个低于该效应即可视为“实际无意义”的阈值。传统显著性检验只能拒绝“效应为零”，无法证明“效应可忽略”；等价性检验则通过置信区间是否完全落在阈值范围内来支持无实质差异的结论。因此“显著但低于关注阈值且未建立等价性”意味着证据既不足以宣称有效，也不足以宣称无效。

合取判断：分离与联合诱导的差异受噪声制约

分离诱导与联合诱导确实改变了合取判断的结果模式，但研究者指出解释受限于调用间噪声。同一模型在不同调用间的波动可能掩盖或放大格式效应，使得该维度的证据强度不足以得出稳健结论。

分离诱导（separate elicitation）指分别独立地询问各组成事件的概率，再由研究者计算合取概率；联合诱导（joint elicitation）指直接要求对合取事件整体给出估计。两种方式在概率判断研究中结果常不一致，因为联合评估会促使被试进行整体比较，而分离评估更依赖逐项加工。调用间噪声指同一模型在相同或近似输入下多次推理产生的输出波动，源于采样温度、解码随机性及上下文微小差异。当格式效应的量级与这种波动相当时，单次比较难以区分真实效应与随机变异，需要通过多次重复、配对设计或混合效应模型来分离信号。

事后线索：候选分布与锚定误差相关

尽管主假设未获支持，事后分析发现候选估计的分布宽度与锚定误差之间存在相关性。这提示多估计格式可能通过改变模型内部不确定性表达来间接影响判断，但该相关性需要独立的预测性验证才能确认因果关系。研究者公开了全部材料，便于复现与扩展。

结论与启示

多估计提示不是通用的去偏工具。其效果高度依赖任务类型和模型配置，且在合取等任务上受噪声干扰。对实践者而言，不应假设改变回复格式就能系统性消除判断偏差；对研究者而言，候选分布与锚定误差的关联值得作为独立假设进一步检验。