Cohen's κ
衡量两名评审者对同一批样本分类一致性的统计量，计算时扣除随机一致概率，取值-1到1，用于评估自动评审能否替代人工评审。
核心事实
时间轴 (近 90 天)
人类校准（n=46）得到方言一致性κ=1.0，电力相关性一致性κ=0.85，表明自动评估与专家判断高度吻合。
最终词典由一个能力更强的LLM评估，并通过Cohen's κ与人类专家标注进行校准。
表现最好的前沿旗舰模型与专家标签的随机校正一致性Cohen's κ约为0.29，远低于人类上限约0.53。
一般认为Cohen's κ > 0.6为实质性一致，0.4–0.6为中等一致。
在十个智能体上的测试中，两条评审流程取得了 κ = 0.71 的检查点一致性和 Kendall τ = 0.87 的智能体排名一致性。
研究领域常用的经验门槛：κ高于0.8视为高度一致，0.6至0.8为实质性一致。
在训练样本上，汉字分类模型的宏平均AUC达到0.97，Cohen's κ为0.81。
Cohen's κ 是衡量两名评审者对同一批样本分类一致性的统计量，计算时扣除了随机一致的概率。
据JudgeBench研究，GPT-4o在打分时，凡它自己答对的题目，与专家的一致性达到0.78（Cohen's κ）；而它答错的题目，一致性骤降到0.30。
Cohen's Kappa系数的计算公式为 κ = (Po - Pe) / (1 - Pe)，用于排除偶然因素导致的一致
全部知识事实 (10)
Cohen's κ 是衡量两名评审者对同一批样本分类一致性的统计量，计算时扣除了随机一致的概率。
75%待验证人类校准（n=46）得到方言一致性κ=1.0，电力相关性一致性κ=0.85，表明自动评估与专家判断高度吻合。
50%待验证最终词典由一个能力更强的LLM评估，并通过Cohen's κ与人类专家标注进行校准。
50%待验证表现最好的前沿旗舰模型与专家标签的随机校正一致性Cohen's κ约为0.29，远低于人类上限约0.53。
50%待验证一般认为Cohen's κ > 0.6为实质性一致，0.4–0.6为中等一致。
50%待验证在十个智能体上的测试中，两条评审流程取得了 κ = 0.71 的检查点一致性和 Kendall τ = 0.87 的智能体排名一致性。
50%待验证研究领域常用的经验门槛：κ高于0.8视为高度一致，0.6至0.8为实质性一致。
50%待验证在训练样本上，汉字分类模型的宏平均AUC达到0.97，Cohen's κ为0.81。
50%待验证据JudgeBench研究，GPT-4o在打分时，凡它自己答对的题目，与专家的一致性达到0.78（Cohen's κ）；而它答错的题目，一致性骤降到0.30。
50%待验证Cohen's Kappa系数的计算公式为 κ = (Po - Pe) / (1 - Pe)，用于排除偶然因素导致的一致
50%