MISO-BR：巴西葡萄牙语厌女检测开放语料库

厌女言论是巴西用户遭遇的在线仇恨言论中最普遍的形式之一，但巴西葡萄牙语领域真正开放、可审计的资源却长期稀缺。MISO-BR 的发布，正是为了填补这一空白——它不只是一份标注数据，更是一套完整可复现的构建流程与评估框架。

一个“可审计”的语料库意味着什么

MISO-BR 的核心主张是：资源的价值不在于排行榜上的漂亮分数，而在于其管线的可审计性。这意味着从数据采集、标注到模型评估的每一步，都有书面协议和可释放的中间产物。

具体来看，语料库包含 896 条均衡的社交媒体文本，全部标注为二元厌女标签。配套释放的还有构建协议、标注指南、模型以及实验脚本。三位标注者依据书面指南进行人工标注，在 816 条数据上达到 Fleiss' kappa 0.788 的一致性——这一水平在主观性较强的仇恨言论标注任务中相当可观。

Fleiss' kappa 是一种用于衡量多名标注者之间一致性程度的统计指标，适用于三个及以上评分者对分类项目进行标注的场景。其取值通常在 0 到 1 之间，0 表示一致性仅相当于随机水平，1 表示完全一致。与 Cohen's kappa 只能处理两名标注者不同，Fleiss' kappa 考虑了每个项目被不同标注者评分的可能性，并校正了偶然一致的概率。在 NLP 标注任务中，一般将 0.61–0.80 视为“显著一致”，0.81 以上视为“几乎完美一致”。因此 MISO-BR 在 816 条数据上达到 0.788，属于较高但未到完美的一致水平，说明标注指南总体清晰，但厌女言论的主观边界仍存在一定分歧空间。

数据从哪来：多来源采集与 LLM 分诊

语料构建并非单一渠道抓取。它结合了针对 X 平台的词典引导与目标引导抓取，并引入了来自 OLID-BR 的条目。采集之后，还经过一个大型语言模型分诊阶段，该阶段的提示词与解码参数同样公开。

这种“多源+自动预筛+人工标注”的组合，在效率与质量控制之间取得平衡，但也正是作者强调需要被审视的地方——因为来源会影响标签分布，而自动分诊可能引入选择偏差。

模型对比：经典分类器与 BERTimbau 的差距

在统一固定协议下，研究比较了四类经典分类器（多项式与伯努利朴素贝叶斯、线性 SVM、随机森林）与微调后的 BERTimbau Base 和 Large。

结果呈现出清晰的分层：经典模型 macro-F1 集中在 0.651 到 0.676 之间，偏向高精度但召回不足；Transformer 模型则达到 0.833 的 macro-F1 与准确率（准确率的 Wilson 95% 置信区间为 [0.77, 0.88]），与经典模型相差约 16 个百分点。

一个值得注意的发现是：Base 与 Large 在测试集上几乎无法区分，尽管训练成本相差 2.6 倍。这提示在实际部署中，盲目追求更大模型未必划算。

BERTimbau 是面向巴西葡萄牙语的预训练 BERT 模型，由 neuralmind 团队在 BrWaC 等大型葡语语料上训练得到，分为 Base（约 1.1 亿参数）和 Large（约 3.3 亿参数）两个版本。它与多语言 BERT 的关键区别在于词表与预训练语料完全针对巴西葡语，因而对本地俚语、缩略形式和社交媒体表达有更好的覆盖。在文本分类任务中，通常的做法是在 BERTimbau 顶部接一个分类头，再用下游标注数据进行全参数微调。MISO-BR 的实验正是采用这一范式，并固定了训练协议以保证与经典分类器的可比性。需要注意的是，Base 与 Large 参数规模相差约三倍，这也是文中训练成本相差 2.6 倍的直接来源。

Wilson 置信区间 是一种用于二项比例（如准确率）的区间估计方法，相比传统的正态近似（Wald 区间），它在样本量较小或比例接近 0 或 1 时表现更稳健，不会产生越界（小于 0 或大于 1）的区间端点。MISO-BR 报告准确率的 Wilson 95% 置信区间为 [0.77, 0.88]，意味着在重复采样的意义上，真实准确率有约 95% 的概率落在此范围内。区间宽度约 0.11，反映出测试集规模有限带来的估计不确定性；在比较 Base 与 Large 时，若两者的置信区间大幅重叠，就不能仅凭点估计断言一方更优，这也呼应了文中“两者几乎无法区分”的结论。

三个必须正视的局限

作者没有回避资源的边界，而是明确列出三点限制，供使用者权衡：

人工类别均衡。语料刻意保持类别平衡，但在真实世界的厌女言论流行率下，这种均衡会如何影响精确率，文中给出了量化分析。

来源与标签的关联。数据来源与标签之间存在相关性，好在释放的 source 字段让这一关联可以被测量和校正。

词典引导采样与自动分诊带来的选择偏差。采样策略和 LLM 预筛都可能让语料偏离自然分布，使用者需在解读结果时加以考虑。

选择偏差 在此语境下指语料并非从目标总体的自然分布中随机抽取，而是经过词典引导采样与 LLM 分诊两道筛选，导致最终样本在某些维度上系统性偏离真实社交媒体文本。例如，词典引导会优先捕获包含特定关键词的帖子，可能遗漏使用隐晦表达或反讽的厌女内容；LLM 分诊则可能倾向于保留“典型”样本而过滤掉边界案例。其后果是模型在测试集上的表现可能高估其在真实流量中的效果。缓解思路包括：报告采样各阶段的保留率、在评估时按来源分层加权，以及利用公开的 source 字段做敏感性分析。

对巴西葡语 NLP 社区的意义

仇恨言论检测长期被英语资源主导，低资源语言的相关工作往往缺乏透明度和可复现性。MISO-BR 的贡献在于提供了一个可拆解、可检验的模板：协议公开、参数公开、局限公开。

对于研究者和工程师而言，这份语料既可以作为厌女检测的基线起点，也可以作为“如何负责任地构建敏感领域数据集”的参考案例。语料、标注指南、模型与实验脚本均已公开可获取。