Cohen's Kappa
一种衡量两名标注者之间一致性的统计量，考虑了随机一致的可能性，常用于评估分类标注任务的可靠性
时间轴 (近 90 天)
构建黄金测试集时，样本需覆盖各类判断难度和边缘案例，标签需由多人独立标注并计算标注者间一致性（如Cohen's kappa），且需定期审查标签是否因业务规则变化而过时。
Gwet's AC1 是一种用于衡量评分者间一致性的统计量，适用于分类标注任务中类别分布不均衡的情形，相比 Cohen's Kappa 在某一类别占比极高时更稳健。
评审者间一致性是衡量多个评分者对同一对象评分一致程度的统计指标，常用 Cohen's Kappa、Krippendorff's Alpha 或组内相关系数（ICC）来量化。
从争议最大的2+/1+边界细胞中抽取数百例交由2-3位病理医生独立重标并计算Cohen's Kappa或Fleiss' Kappa，可将问题从模型不行重新定义为标签定义不清
编码者间信度常用Cohen's Kappa系数衡量，用于确保分类标准的一致性和客观性
传统码本开发遵循迭代信度测试流程，通过计算组间一致性指标（如Cohen's Kappa或Krippendorff's Alpha）反复修订，直至一致性达到可接受阈值（通常Kappa≥0.7）
审计结果显示自动标签与人类共识在90.3%的论断上保持一致，Cohen's Kappa系数达到0.87
即使是经验丰富的人类专家在同一评审任务上，组间 Kappa 往往也只在 0.4–0.6 之间
Cohen's Kappa 通常解读标准为：κ<0.20 极弱，0.21–0.40 一般，0.41–0.60 中等，0.61–0.80 较强，0.80 以上近乎完美
标注者间一致性IAA常用Cohen's Kappa系数（两个标注者）和Fleiss' Kappa系数（多个标注者）计算，Kappa值为1表示完全一致，0表示与随机一致无差异
全部知识事实 (10)
构建黄金测试集时，样本需覆盖各类判断难度和边缘案例，标签需由多人独立标注并计算标注者间一致性（如Cohen's kappa），且需定期审查标签是否因业务规则变化而过时。
50%待验证Gwet's AC1 是一种用于衡量评分者间一致性的统计量，适用于分类标注任务中类别分布不均衡的情形，相比 Cohen's Kappa 在某一类别占比极高时更稳健。
50%待验证评审者间一致性是衡量多个评分者对同一对象评分一致程度的统计指标，常用 Cohen's Kappa、Krippendorff's Alpha 或组内相关系数（ICC）来量化。
50%待验证从争议最大的2+/1+边界细胞中抽取数百例交由2-3位病理医生独立重标并计算Cohen's Kappa或Fleiss' Kappa，可将问题从模型不行重新定义为标签定义不清
50%待验证编码者间信度常用Cohen's Kappa系数衡量，用于确保分类标准的一致性和客观性
50%待验证传统码本开发遵循迭代信度测试流程，通过计算组间一致性指标（如Cohen's Kappa或Krippendorff's Alpha）反复修订，直至一致性达到可接受阈值（通常Kappa≥0.7）
50%待验证审计结果显示自动标签与人类共识在90.3%的论断上保持一致，Cohen's Kappa系数达到0.87
50%待验证即使是经验丰富的人类专家在同一评审任务上，组间 Kappa 往往也只在 0.4–0.6 之间
50%待验证Cohen's Kappa 通常解读标准为：κ<0.20 极弱，0.21–0.40 一般，0.41–0.60 中等，0.61–0.80 较强，0.80 以上近乎完美
50%待验证标注者间一致性IAA常用Cohen's Kappa系数（两个标注者）和Fleiss' Kappa系数（多个标注者）计算，Kappa值为1表示完全一致，0表示与随机一致无差异
50%