[控场AI]
概念Area Under the ROC Curve / ROC-AUC / 受试者工作特征曲线下面积

AUC

二分类模型最核心的综合评估指标,值域0.5到1.0,不受样本类别不平衡影响,综合衡量模型在所有分类阈值下的区分能力。0.8-0.9为良好,0.9以上为优秀

核心事实

时间轴 (近 90 天)

10月30日

演示中,通过LASSO回归、SVM、随机森林和Boruta四种方法筛选特征基因,取交集得到5个交集特征基因;特征基因的ROC曲线AUC均大于0.7。

待验证50%
10月30日

模型自身先验信号无法区分谎言与'同类事实的合法更新',AUC仅为0.53,接近随机猜测。

待验证50%
10月30日

模型自身先验信号能够区分'关于已知事实的谎言'和'真实的新事实',在三个模型上的AUC达到0.78-0.83。

待验证50%
10月30日

飓风指数在识别有记录的飓风日时,AUC达到0.98。

待验证50%
10月30日

简单的站点-月气候学基准在分类高降雨月份时准确率达88.4%,AUC为0.950。

待验证50%
10月30日

仅使用日历特征的随机森林在随机划分下达到次日湿润日AUC 0.889,迁移到未来年份时AUC降至0.835,低于气候学基准的0.859。

待验证50%
10月27日

在满足目标限值的迁移后,阈值会拒绝大部分正确检测;在降雨条件下,接收者操作特征曲线下面积(AUC)并未下降。

待验证50%
10月22日

仅靠措辞文本区分要求项与非要求项的AUC为0.664,界定了不依赖格式线索时能达到的性能上限。

待验证50%
10月20日

AUC衡量模型在所有同人/异人比对对中将同人对相似度排在异人对之前的概率,取值0–1,越接近1越好,与具体阈值无关。

待验证50%
10月20日

VTF900研究表明小规模注册库下的高AUC并不能转化为部署规模下的可靠性能,基于百人级注册库得出的模型排名在900人规模下可能发生实质性重排。

待验证50%

还有 18 条时间轴事件

全部知识事实 (20)

已验证

AUC值域为0.5到1.0,0.5代表随机猜测、1.0代表完美预测,不受样本类别不平衡影响

75%
已验证

AUC是衡量二分类模型综合性能的核心指标,0.5代表随机猜测,1.0代表完美分类

75%
已验证

业界通用标准中,AUC > 0.9为优秀,0.8~0.9为良好,0.7~0.8为一般,0.5~0.7为较差,0.5等同于随机猜测

70%
已验证

AUC等于从所有正样本中随机抽取一个、从所有负样本中随机抽取一个,正样本的预测分数高于负样本预测分数的概率

70%
已验证

ROC曲线的AUC=1表示完美分类器,AUC=0.5等同于随机猜测

70%
已验证

AUC可以通过梯形法则对ROC曲线下方面积进行数值积分得到,也可以通过Mann-Whitney U统计量等价计算

65%
已验证

AUC的取值范围在0到1之间,数值越大代表模型分类能力越强

65%
待验证

识别过拟合的经典方法是比较训练集AUC和验证集AUC——如果训练集AUC接近1.0而验证集AUC明显偏低,就是过拟合的典型信号

90%
待验证

AUC(Area Under Curve)是衡量分类模型好坏最常用的指标之一

85%
待验证

利用正样本秩次之和快速计算AUC的算法时间复杂度为O(n log n)

60%
待验证

模型自身先验信号无法区分谎言与'同类事实的合法更新',AUC仅为0.53,接近随机猜测。

50%
待验证

模型自身先验信号能够区分'关于已知事实的谎言'和'真实的新事实',在三个模型上的AUC达到0.78-0.83。

50%
待验证

飓风指数在识别有记录的飓风日时,AUC达到0.98。

50%
待验证

仅使用日历特征的随机森林在随机划分下达到次日湿润日AUC 0.889,迁移到未来年份时AUC降至0.835,低于气候学基准的0.859。

50%
待验证

简单的站点-月气候学基准在分类高降雨月份时准确率达88.4%,AUC为0.950。

50%
待验证

在满足目标限值的迁移后,阈值会拒绝大部分正确检测;在降雨条件下,接收者操作特征曲线下面积(AUC)并未下降。

50%
待验证

仅靠措辞文本区分要求项与非要求项的AUC为0.664,界定了不依赖格式线索时能达到的性能上限。

50%
待验证

AUC衡量模型在所有同人/异人比对对中将同人对相似度排在异人对之前的概率,取值0–1,越接近1越好,与具体阈值无关。

50%
待验证

VTF900研究表明小规模注册库下的高AUC并不能转化为部署规模下的可靠性能,基于百人级注册库得出的模型排名在900人规模下可能发生实质性重排。

50%
待验证

AUC衡量的是排序能力,KS关注的是区分度,GINI与AUC线性相关。

50%

来源文章