待验证50% 置信事实精确时间

在预测基准测试中的响应得分时，COMPREHEND生成的弱点报告比EvalTree更具信息量。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/11/4

首次发现

有效期至：2027/2/2

来源

COMPREHEND：用蕴含层次结构实现超细粒度基准理解

涉及实体

COMPREHENDconcept EvalTreeconcept

相关事实

待验证在监控大模型 API 错误率时，仅关注整体成功率不够，应关注错误率的百分位与突增检测，因为平均值可能掩盖尾部错误率对部分用户的影响。76% 相似待验证记录'某个推荐方案不适用'的负样本与记录成功同样重要，否则模型会陷入统计偏差，把高频方案误当成高正确率方案75% 相似待验证在评估回归检测中，如果候选的下界高于基线的下界（或基线点估计），才有统计依据说它没有变差；否则只能判定为不确定。72% 相似待验证困惑度是测试集上每个token平均负对数似然的指数，值越低代表模型对语料的预测越准确72% 相似待验证在推荐场景中，模型通常用均方根误差RMSE衡量预测评分与真实评分之间的误差72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1134106

API

curl https://kongchang.com/api/v1/knowledge/claims/1134106

MCP

get_claim(id=1134106)