概念inter-annotator agreement / IAA
标注者间一致性
衡量多位标注者对同一数据独立标注时结果一致程度的统计概念，常用Cohen's Kappa、Krippendorff's Alpha等指标，是评估人工标注质量的基础
时间轴 (近 90 天)
10月30日
标注者间一致性是内容分析中衡量编码可靠性的关键指标，常用Cohen's kappa、Krippendorff's alpha等统计量。
待验证50%
10月12日
人类标注者自身存在不一致性，这为评估模型设立了'上限'；如果连专业语言学家之间的一致性都只能达到中等水平，那么人类标注数据本身就带有噪声。
待验证50%
9月11日
GPT-4作为裁判时与人类评价的一致性可超过80%，但存在位置偏差、冗长偏差和自我偏好等系统性问题
待验证50%
8月26日
数据标注评估考核中常见的质量指标包括标注者间一致性（IAA）和与黄金标准的偏差
待验证50%