待验证50% 置信注意事项精确时间

若所有陪审员来自同一模型家族、使用相同训练数据，它们很可能犯下相同错误，投票失去纠错意义

1

来源数

50%

置信度

长期有效

时效性

2026/7/15

首次发现

来源

LLM陪审团：多模型投票如何构建可靠元数据

相关事实

待验证对同一测试用例执行多次调用统计成功比例得到通过率，比二元的通过/失败判断更能反映模型真实表现58% 相似待验证研究人员发现部分幻觉包名在10%以上的测试中反复出现，同一模型在相似提示下往往产生相同幻觉58% 相似待验证McNemar 检验关注两个模型在每个样本上的分歧情况，只有判断结果不一致的样本（b和c单元格）具有信息量，两者都对或都错的样本被视为无关信息56% 相似待验证在事实性评估任务上模型评判者准确率仍显著低于人类专家，但在风格、连贯性等主观维度已接近人类评审员间一致性水平55% 相似待验证在正负样本极度不均衡的场景（如欺诈检测）中，单纯看准确率作为评估指标毫无意义54% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/513817

API

curl https://kongchang.com/api/v1/knowledge/claims/513817

MCP

get_claim(id=513817)