混淆矩阵
分类模型性能评估的可视化工具,以矩阵形式展示模型预测结果与真实标签之间的对应关系,用于分析各类别的分类错误模式
时间轴 (近 90 天)
在IDP评分中,应在映射到混淆矩阵之前,将每个字段的提取结果如实记录为五类原始状态:correct、misread、missed、invented、correct blank。
对于文本字段的误读,存在只算FN、只算FP、或同时算FN和FP等不同约定,不同约定会直接改变最终分数,因此公开结果时必须说明所采用的约定。
精确率(Precision)本质上是在给定预测为正例的条件下,计算真实为正例的后验概率。
精确率、召回率、F1 值、准确率均可由混淆矩阵的四个数字推导。
当 Prevalence 和 FPR 都从同一个混淆矩阵导出时,贝叶斯公式会自然化简为 TP/(TP+FP)。
评估裁判时应看混淆矩阵,而不是只看准确率;如果 90% 的样本本来就是好答案,一个全部判通过的裁判也能显示 90% 准确。
混淆矩阵以2×2表格列出真阳性(TP)、假阳性(FP)、假阴性(FN)、真阴性(TN)四种组合。
实践中常用精确率(Precision)和召回率(Recall)来量化误报漏报,并借助混淆矩阵分析模型表现。
在二分类混淆矩阵中,F1分数是精确率和召回率的调和平均
全部知识事实 (10)
混淆矩阵的概念最早可追溯到1904年Karl Pearson在统计学中对分类误差的研究
60%待验证对于文本字段的误读,存在只算FN、只算FP、或同时算FN和FP等不同约定,不同约定会直接改变最终分数,因此公开结果时必须说明所采用的约定。
50%待验证在IDP评分中,应在映射到混淆矩阵之前,将每个字段的提取结果如实记录为五类原始状态:correct、misread、missed、invented、correct blank。
50%待验证精确率、召回率、F1 值、准确率均可由混淆矩阵的四个数字推导。
50%待验证精确率(Precision)本质上是在给定预测为正例的条件下,计算真实为正例的后验概率。
50%待验证当 Prevalence 和 FPR 都从同一个混淆矩阵导出时,贝叶斯公式会自然化简为 TP/(TP+FP)。
50%待验证评估裁判时应看混淆矩阵,而不是只看准确率;如果 90% 的样本本来就是好答案,一个全部判通过的裁判也能显示 90% 准确。
50%待验证混淆矩阵以2×2表格列出真阳性(TP)、假阳性(FP)、假阴性(FN)、真阴性(TN)四种组合。
50%待验证实践中常用精确率(Precision)和召回率(Recall)来量化误报漏报,并借助混淆矩阵分析模型表现。
50%待验证在二分类混淆矩阵中,F1分数是精确率和召回率的调和平均
50%