[控场AI]
概念Area Under the Receiver Operating Characteristic curve

AUROC

评估二分类模型排序能力的常用指标,取值0.5到1.0,表示随机正负样本中正样本得分更高的概率,常用于监控场景中排序失败轨迹与成功轨迹。

核心事实

时间轴 (近 90 天)

10月19日

裁判分歧能预测错误,AUROC最高达0.80,但逆概率加权带来的方差膨胀超过了信号收益。

待验证50%
10月19日

在机器学习中,等效边界可依据指标的实际意义来定,例如AUROC差异不超过0.01。

待验证50%
10月19日

要在80%功效下证明0.01 AUROC的等效性,即使两种方法完全相等,也需要每种方法十二次运行。

待验证50%
10月19日

对于复合统计量,研究采用两级bootstrap方法进行推断,该方法不依赖正态性假设,适用于AUROC等非高斯分布的指标。

待验证50%
10月18日

作者用LLM裁判识别可疑报告,AUROC为0.48(不优于随机),而简单的TF-IDF词频分类器AUROC为0.65。

待验证50%
10月14日

跨模型验证的研究显示,盲点检测的 AUROC 为 0.70,而同模型自检只有 0.59。

待验证50%
10月13日

校准意味着模型输出的概率应与现实匹配;神经网络普遍存在过度自信倾向,不应盲目相信模型概率,应使用标注数据验证后再设置阈值。

已验证75%
9月28日

S3KG 的 AUROC 最高达到 0.973

待验证50%
9月17日

队列构建方式不同意味着即便两项研究报告相近的AUROC也未必解决同一临床问题,一个机构的模型不能直接部署到另一个机构

待验证50%

全部知识事实 (11)

来源文章