待验证50% 置信事实精确时间

人类校准（n=46）得到方言一致性κ=1.0，电力相关性一致性κ=0.85，表明自动评估与专家判断高度吻合。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/11/4

首次发现

有效期至：2027/2/2

来源

用软标签双向锚定与主动学习构建电力方言词典

涉及实体

Cohen's κconcept 人类专家标注concept

相关事实

待验证Shopify将LLM裁判与人类判断的一致性从kappa 0.02校准到0.61，人类之间的一致性为0.69。71% 相似待验证论文的核心评估指标是LLM与人类标注者之间的一致性。66% 相似待验证学术研究表明，当评分标准被严格限制为二元通过/失败标准时，自动评分器能提供可扩展、可复现的分数，与专家人类判断高度相关。66% 相似待验证确定性检查器与盲审标注者之间的一致性Cohen's kappa = 0.89。65% 相似待验证相似度测量的是措辞而非真相，五个样本可能一致同意一个错误的重试次数并得到高分，因此仍需要人类审查MODEL-DRAFT。64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1134118

API

curl https://kongchang.com/api/v1/knowledge/claims/1134118

MCP

get_claim(id=1134118)