用有监督LLM在语言空间融合异构超声心动图AI输出

超声心动图AI模型往往各有专攻——有的擅长某个切面，有的针对特定指标——单独使用时预测能力有限，把它们组合起来是自然思路。但异构模型的输出格式五花八门：二元判断、概率值、置信度分数、定长特征向量，想让它们"对话"并不容易。一项新研究提出用有监督大语言模型（LLM）做晚期融合，把这些异构输出直接放进语言空间聚合，省去了针对每个模型的格式转换和特征工程。

异构输出的融合难题

多视图、多目标的超声心动图模型各自捕捉了互补的信息。问题在于，传统集成学习要求输出被统一成机器可处理的数值形式：一个二分类结果、一个概率、一个置信度，或者一个固定长度的特征向量。

这套做法的代价不小。把结构化预测转成数值，通常需要医学知识来设计转换规则和特征工程，而且转换过程本身可能丢失信息。原文指出，异构模型"通常需要"这类转换，而这正是该研究想要绕开的环节。

晚期融合（Late Fusion） 是集成学习中的一类策略，指各子模型先独立完成预测，再在输出层面将结果合并；与之相对的早期融合则是在特征层面就把多源信息拼接起来共同训练。晚期融合的优势在于各模型可以异构、独立开发与更新，适合医学影像中按切面、按指标分头建模的现实场景。其代价是融合层必须处理格式不一的输出，常见做法包括投票、加权平均、堆叠（stacking）等，而权重或元分类器通常需要额外标注数据来学习。本文用有监督LLM替代传统数值型融合器，本质上仍属于晚期融合框架，只是把合并发生在语言空间而非数值空间。

患者级别交叉验证与常见的图像或检查级别划分不同：同一患者可能有多条检查记录，若按检查随机划分，同一患者的图像可能同时出现在训练集和测试集，造成信息泄漏并高估性能。患者级划分保证同一患者的所有检查只落入同一折，因而评估结果更接近真实临床部署时的泛化表现。本文采用三折而非更常见的五折或十折，通常与样本量有限（646名患者）有关，折数少可使每折训练数据更充分，但单次估计的方差也更大。

让LLM直接在语言空间里做融合

研究团队构建了一个基于有监督LLM的晚期融合模块。它的输入不是数值向量，而是各视图模型输出的"预测发现陈述"和"预测测量值"——也就是自然语言形式的结论，模块据此学习一个病例级别的融合函数。

这个设计的巧妙之处在于，语言成了统一的接口。不同上游模型的输出只要能用语句表达，就可以进入同一个框架，无需为每个模型单独设计转换器。融合函数通过任务特定的训练获得，而不是依赖通用LLM的零样本能力。

零样本（zero-shot）能力指模型在未见过任务特定训练样本的情况下，仅凭预训练获得的通用知识直接完成新任务。通用LLM在文本理解与推理上表现不俗，容易被误认为可以"开箱即用"地充当融合器。但融合函数本质上是一个需要从数据中学习的映射：哪些发现陈述彼此印证、哪些测量值应当优先采信、冲突时如何权衡，这些规律都依赖具体任务与数据结构，通用模型的先验未必对得上。本文的对照实验正是把"任务特定有监督训练"与"零样本调用通用LLM"放在一起比较，从而把性能增益归因于监督学习而非模型规模或通用推理能力。这也是评估LLM应用时区分"能力来自预训练"还是"能力来自微调"的常见实验设计。

验证结果说明了什么

研究在646名患者的859次检查上做了患者级别的三折交叉验证。结果显示，该方法在单一框架内整合了异构输出，表现与所评估的最佳参考策略相当，并且优于未经任务特定训练的通用LLM。

后一点尤其关键：它说明融合能力来自有监督训练，而非LLM本身的通用推理。换句话说，"用LLM融合"不是一个开箱即用的方案，任务特定的学习仍然不可省略。

对医学AI工程的意义

这项工作的价值不在于刷出多高的指标，而在于提供了一条工程上更省事的路径：上游模型可以是异构的，输出可以保持自然语言形态，融合层由一个受监督的LLM承担，从而减少对模型特定输出转换和医学知识驱动特征工程的依赖。

当然，验证规模有限，结论的稳健性还需要更大数据集和更多模型组合来检验。但它提示了一个方向——当医学AI系统由多个专科模型拼装而成时，语言空间可能是一个比数值向量更自然的粘合层。

医学知识驱动的特征工程在此语境下指依靠临床专家把模型输出转成可用数值的人工设计过程，例如规定某个置信度如何映射为权重、某项测量值超出阈值时如何编码为类别标志。这类规则可解释性强，但设计成本高、难以迁移到新的模型组合，且离散化本身会丢弃连续信息。让LLM直接读取自然语言形式的结论，相当于把"如何解释一条预测陈述"交给模型在训练中自行学习，从而把专家知识从手工规则转移为数据中的监督信号。需要注意的是，这并不消除对医学知识的需求，而是将其前移到数据标注与任务定义阶段。