基准
StereoSet
用于评估语言模型刻板印象偏见的基准数据集，涵盖性别、种族、职业、宗教等多个维度，通过多项选择题形式衡量模型对刻板印象内容的倾向性
时间轴 (近 90 天)
10月30日
StereoSet通过让模型在刻板印象句、反刻板印象句和无意义句之间做选择，量化模型偏好刻板印象的程度。
待验证50%
10月15日
印地语、韩语和斯瓦希里语的跨语言分数下降大部分来自StereoSet数据集中的特定测试项，而非全局性的公平性改善。
待验证50%
10月15日
StereoSet是多语言偏见审计中最常用的基准数据集之一，由Mooney等人于2021年发布，专门用于测量语言模型的刻板印象程度，题目采用完形填空形式。
待验证50%
9月19日
目前主流的偏见基准测试包括WinoBias、StereoSet、BBQ等数据集，通过构造对照句对或多项选择题来衡量模型在性别、种族等维度上的刻板印象倾向
待验证50%
9月19日
主流偏见基准测试的共同局限在于它们测量的是模型在特定受控语境下的显性选择，而非开放式生成、长文本推理或复杂角色扮演场景中流露的隐含偏见
待验证50%
全部知识事实 (5)
待验证
StereoSet通过让模型在刻板印象句、反刻板印象句和无意义句之间做选择，量化模型偏好刻板印象的程度。
50%待验证印地语、韩语和斯瓦希里语的跨语言分数下降大部分来自StereoSet数据集中的特定测试项，而非全局性的公平性改善。
50%待验证StereoSet是多语言偏见审计中最常用的基准数据集之一，由Mooney等人于2021年发布，专门用于测量语言模型的刻板印象程度，题目采用完形填空形式。
50%待验证目前主流的偏见基准测试包括WinoBias、StereoSet、BBQ等数据集，通过构造对照句对或多项选择题来衡量模型在性别、种族等维度上的刻板印象倾向
50%待验证主流偏见基准测试的共同局限在于它们测量的是模型在特定受控语境下的显性选择，而非开放式生成、长文本推理或复杂角色扮演场景中流露的隐含偏见
50%