BBQ
专为问答场景设计的偏见基准测试数据集，通过构造歧义情境下的多项选择题评估模型在社会偏见维度上的表现，涵盖种族、性别、年龄等多个社会群体属性
时间轴 (近 90 天)
模型制造商推荐的置信度门槛在模糊的BBQ性别问题上提高了保留答案中刻板印象的比例，granite-switch的刻板印象比例从0.76上升到0.85，pplx则从0.81上升到1.00。
BBQ是一个专门评估问答模型社会偏见的数据集，包含性别、种族、年龄等多个维度，问题分为歧义语境和非歧义语境两类。
Elastic默认对float32向量做int8量化以降低内存占用，BBQ进一步将向量压缩到接近一位，disk BBQ几乎消除向量检索的内存开销。
目前主流的偏见基准测试包括WinoBias、StereoSet、BBQ等数据集，通过构造对照句对或多项选择题来衡量模型在性别、种族等维度上的刻板印象倾向
主流偏见基准测试的共同局限在于它们测量的是模型在特定受控语境下的显性选择，而非开放式生成、长文本推理或复杂角色扮演场景中流露的隐含偏见
BBQ（Bias Benchmark for QA）通过歧义和消歧问答对检测模型在九个社会维度上的偏见倾向
全部知识事实 (6)
模型制造商推荐的置信度门槛在模糊的BBQ性别问题上提高了保留答案中刻板印象的比例，granite-switch的刻板印象比例从0.76上升到0.85，pplx则从0.81上升到1.00。
50%待验证BBQ是一个专门评估问答模型社会偏见的数据集，包含性别、种族、年龄等多个维度，问题分为歧义语境和非歧义语境两类。
50%待验证Elastic默认对float32向量做int8量化以降低内存占用，BBQ进一步将向量压缩到接近一位，disk BBQ几乎消除向量检索的内存开销。
50%待验证目前主流的偏见基准测试包括WinoBias、StereoSet、BBQ等数据集，通过构造对照句对或多项选择题来衡量模型在性别、种族等维度上的刻板印象倾向
50%待验证主流偏见基准测试的共同局限在于它们测量的是模型在特定受控语境下的显性选择，而非开放式生成、长文本推理或复杂角色扮演场景中流露的隐含偏见
50%待验证BBQ（Bias Benchmark for QA）通过歧义和消歧问答对检测模型在九个社会维度上的偏见倾向
50%