概念精确率
Precision
分类模型评估指标,计算正确预测的正例数占预测为正例总数的比例,在IDP中可用于监控模型幻觉(捏造内容)
时间轴 (近 90 天)
10月26日
对于LLM参与的提取任务,当模型“捏造”内容时,False Positive会上升、Precision下降,因此这些指标对幻觉监控更敏感,应关注False Positive Rate以控制幻觉。
待验证50%
10月26日
IDP评分不应只报告一个指标,至少应同时给出Precision、Recall和F1,并说明空白、NULL、复选框和不可读值的计数规则。
待验证50%
10月13日
在RAG场景中,Recall通常优先于Precision,因为漏掉一份关键证据往往直接导致答案错误,而多召回几份无关文档只是增加上下文噪声和Token成本。
待验证50%