待验证50% 置信基准精确时间

Shopify将LLM裁判与人类判断的一致性从kappa 0.02校准到0.61，人类之间的一致性为0.69。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/21

首次发现

有效期至：2027/1/19

来源

12个生产级Agent团队的设计密码：两个问题决定成败

涉及实体

Shopifycompany Cohen's kappaconcept

相关事实

待验证论文的核心评估指标是LLM与人类标注者之间的一致性。65% 相似待验证认知谦逊测试（epistemic calibration）考察模型是否能准确感知自身知识边界，而传统 LLM 基准如 MMLU、HumanEval 通常以准确率为唯一指标61% 相似待验证如果验收测试是“看起来没问题”，则accepted字段会成为常量，尝试次数指标失去意义，应完全跳过账本。59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1080126

API

curl https://kongchang.com/api/v1/knowledge/claims/1080126

MCP

get_claim(id=1080126)