无基准真相时，人机互补性如何评估？新框架提出 adequacy 标签

人机互补性不只依赖基准真相

人机互补性（Human-AI complementarity）指的是人类在 AI 辅助下，表现能够超越人类单独或 AI 单独的水平。在预测任务中，这种提升通常通过基准真相（ground truth）标签来评估——这些标签由参考构建程序产生，旨在代表待预测事态的真实状态。然而，许多真实世界的人机交互并不属于预测任务。例如，医疗 AI 提供治疗建议时，其输出关乎相对于实践目标的充分性（adequacy），而非预测某个客观事实。

据 RSS 来源的文章《Complementarity without ground truth?》指出，这类任务中的输出评估涉及多个评价维度，基准真相并非合适的参考标准。这引出一个关键问题：当基准真相缺失时，我们还能定量评估人机互补性吗？

从基准真相到 adequacy 标签

该研究深入考察了互补性对基准真相的依赖，并尝试将其扩展到基准真相不适用的人机交互场景。作者证明，超越预测的任务仍然可以通过参考构建程序生成 adequacy 标签。为此，他们提出了一种扩展互补性至此类环境的方法：用上下文相关的 adequacy 标签替代基准真相标签。

这种 adequacy 标签的生成采用两步评分法，其灵感来源于医疗领域的多准则决策分析（multi-criteria decision analysis）框架。该方法还明确揭示了参考构建背后的规范性选择——即评估过程中不可避免的价值判断。由于 adequacy 标签的构建内嵌了评价性选择，研究者从计算可靠主义（computational reliabilism）中汲取方法论灵感，识别出支持标签构建的技术、科学和社会因素。

多准则决策分析（MCDA） 是一类用于在多个、往往相互冲突的评价准则下对备选方案进行排序或分类的系统化方法。其典型流程包括：确定决策目标与准则体系、对每个准则赋予权重、将各准则上的表现评分综合为单一效用值。常见的综合方式有加权求和、层次分析法（AHP）、ELECTRE、PROMETHEE 等。MCDA 在医疗决策中被广泛采用，例如在资源分配、治疗方案选择与卫生技术评估中权衡疗效、安全性、成本与患者偏好。在本框架中，MCDA 的作用是把多个 adequacy 维度（如安全性、有效性、可接受性）合成为一个可比较的标签，其关键前提是权重与聚合规则必须被显式声明，否则综合结果会隐含未言明的价值判断。

方法核心：两步评分与规范性选择

该框架的核心在于两步评分方法。第一步可能涉及定义与任务相关的评价维度，第二步则通过多准则决策分析将这些维度综合为 adequacy 标签。这一过程并非价值中立——它要求研究者明确做出规范性选择，例如哪些维度重要、如何加权、以及何种状态算作“充分”。

计算可靠主义为这些选择提供了方法论支撑。它强调标签构建过程需要关注技术可靠性（如评分工具的信度）、科学可靠性（如维度选择的证据基础）和社会可靠性（如利益相关者的接受度）。通过显式识别这些因素，研究者能够更透明地论证 adequacy 标签的合理性，从而在人机互补性评估中引入可审计的定量标准。

计算可靠主义（computational reliabilism） 借用了认识论中可靠主义的核心直觉：一个信念或判断之所以具有认识上的正当性，取决于产生它的过程是否可靠，而非取决于它是否与某个终极真相相符。将其迁移到计算评估语境，意味着 adequacy 标签的正当性应追溯到生成标签的整个流程——评分工具是否稳定、维度选择是否有证据支持、构建程序是否经得起相关共同体审视。这一立场特别适合 ground truth 缺失的场景，因为它把评估焦点从“标签是否对应客观事实”转向“标签是否由可信赖的程序产生”。研究者由此可以把技术信度、科学证据与社会接受度作为可分别审查的可靠性来源，使规范性选择变得可讨论、可追责。

拓展人机互补性的实证研究边界

这项工作的意义在于将人机互补性的实证研究从预测任务拓展到决策支持场景。在医疗、政策、管理等领域，AI 系统的输出往往无法用简单的对错标签衡量，而是需要在具体情境下判断其充分性。新框架使得在这些场景中定量评估人机互补性成为可能，为设计更有效的人机协作系统提供了方法论基础。

尽管该研究仍处于方法论层面，尚未报告大规模实证结果，但它为后续工作开辟了道路：如何在不同领域构建可靠的 adequacy 标签、如何验证这些标签的效度、以及如何比较不同参考构建程序下的互补性结论。这些问题值得人机交互与 AI 评估领域的研究者持续关注。