错误检测不够：实体级情感分析的选择性模型升级

在资源有限的情况下提升情感分类器，远不止决定收集多少数据或训练哪个模型那么简单。一篇题为《Finding Errors Is Not Enough: Selective Model Escalation for Entity-Targeted Sentiment Analysis》的研究，以文档级实体级情感分析（ELSA）为场景，主要使用南斯拉夫语新闻数据，系统探讨了数据采集顺序、不确定性驱动的预测重审以及模型路由策略。研究发现，仅仅识别出错误并不足以带来显著提升，如何选择性地将预测升级到更强模型才是关键。

数据采集顺序：少数类优先并非万能

研究首先比较了随着标注数据增长，不同采集顺序对模型性能的影响。一种直观的策略是优先采集少数类样本，以缓解类别不平衡问题。实验表明，这种少数类优先的采集方式在训练集非常小时能带来一定好处，但随着数据量增加，其优势并不持续。这意味着，在资源有限时，采集策略需要动态调整，不能一味依赖少数类优先。

这一发现对实际项目有直接启示：如果标注预算极少，优先补充少数类可能值得尝试；但当数据量达到一定规模后，更应关注数据多样性和代表性，而非单纯追求类别平衡。

实体级情感分析（ELSA） 与常见句子级情感分类的关键区别在于：同一篇文档中可能提及多个实体，每个实体对应的情感极性可以不同甚至相反。例如一篇新闻在称赞某位部长的同时批评其所属政党，模型必须分别判断“部长→正面”“政党→负面”。ELSA 因此需要实体识别与情感判断的联合建模，标注成本更高，错误来源也更复杂——既可能认错实体，也可能对同一实体的极性判断出错。文档级设定进一步放大了难度：情感线索分散在长文本各处，存在指代消解和跨句推理需求，这也是该研究选择南斯拉夫语新闻这类多实体、多立场语料的原因。

不确定性驱动的预测重审：上限与现实的差距

研究利用模型不确定性来选择哪些预测需要重新审查、审查多少条，以及是否能用替代编码器或本地大语言模型（LLM）来纠正。在 SentiCoref 数据集上，一个“神谕”实验显示：如果能够纠正最不确定的 10% 预测中的所有错误，且不损害正确预测，Macro-F1 可提升 9.14 分。然而，实际评估的最佳动作仅带来 0.90 分的提升。

这一巨大落差说明，错误检测本身并不足够——知道哪些预测可能出错很容易，但低成本地纠正它们却非常困难。不确定性筛选出的样本中，真正可被现有工具修正的比例有限。

不确定性估计在此类系统中通常来自模型输出的概率分布，例如取最大类别概率的补数（1 - max p）、预测熵，或多次前向传播（如 MC Dropout、深层集成）下的方差。这些分数被用来给每条预测排序，排名靠前的被视为“可能出错”，优先送交人工审查或更强模型重判。其局限在于：不确定性高不等于错误可纠正，模型可能因实体边界模糊、标注规范歧义或训练分布外表达而“自信地错”或“犹豫地对”。因此神谕上限（假设能完美纠正被选中的错误）与实际收益之间的差距，本质上反映的是错误可修复性与错误可检测性之间的不匹配。

模型路由策略：编码器平均 vs. 选择性 LLM 辅助

研究进一步比较了两种模型升级方式：编码器平均和选择性 LLM 辅助。编码器平均在 AspectBench 和 NewsMTSC 上有所帮助，但在 SentiCoref 上却有害，此时选择性 LLM 辅助更有前景。最终，在开发集上选出的两种策略都将 30% 的记录路由到编码器辅助的 LLM，在 SentiCoref 上观察到 1.02 分的提升（置信区间包含零），在 NewsMTSC 上提升 1.71 分，但推理成本差异显著。

这表明，模型升级策略需要针对具体数据集和任务特性进行定制。没有一种路由策略能在所有场景下胜出，开发集上的选择至关重要。

模型路由（model routing / escalation） 指系统先由轻量模型处理全部输入，再依据某种信号把一部分样本转交给成本更高的模型，从而在平均成本与整体质量之间折中。常见触发信号包括置信度阈值、预测间分歧以及轻量分类器给出的风险分数。编码器平均是其中最简单的一种：把多个编码器（如不同预训练模型或不同随机种子）的预测概率取平均，以集成方式降低方差，成本增加有限但提升幅度通常较小；LLM 辅助则是把疑难样本连同上下文交给大语言模型重判，能力更强但单次推理成本高得多。两者在 SentiCoref 上表现相反，说明升级策略的收益高度依赖基础模型与目标数据之间的差距：当基础编码器已接近其能力上限时，集成无济于事，需要引入外部知识更强的模型。

实践启示：选择性升级的权衡

这项研究为资源受限的情感分析项目提供了几条实用经验。首先，采集策略应随数据规模动态调整，少数类优先仅在极小数据量时有效。其次，不确定性可以指导预测重审，但不要高估自动纠正的能力——神谕上限与实际收益之间往往存在数量级差距。最后，模型路由需要基于开发集进行实证选择，并充分考虑推理成本。

总体而言，该研究强调了一个核心观点：在实体级情感分析中，发现错误只是第一步，选择性地将预测升级到合适模型，并在收益与成本之间取得平衡，才是提升性能的关键。