共形预测
一种统计学习框架,无需分布假设即可为机器学习模型提供有理论保证的不确定性量化,输出预测集合或预测区间并保证有限样本下的覆盖率
时间轴 (近 90 天)
仅用80次模拟训练的case A边界在65次独立运行中正确标注64次。
共形预测给出的覆盖保证不依赖模型是否被良好校准,相比softmax概率更稳健。
现有不确定性估计方案通常需要多次采样(5倍或更多算力)、引入裁判模型或依赖标注数据集,成本较高且只给出笼统置信度。
共形预测可作为包装层叠加在任何已训练好的模型之上,无需重新训练或修改模型结构
在时间序列、在线学习或存在概念漂移的场景中可交换性会被破坏,此时需借助加权共形预测或自适应共形推断等扩展方法恢复覆盖保证
共形预测是一种输出预测集合或预测区间并附带严格统计覆盖保证的不确定性量化框架
预测集合的效率通常以预测集合的平均大小来衡量,在满足覆盖率的前提下集合越小越好
预测集合的大小是有用信号:集合越大说明模型越犹豫,集合越小甚至含单一标签则表示模型高度自信
共形预测依赖非一致性分数和校准集两个关键概念,校准集是独立于训练集且带有真实标签的数据
共形预测的无分布假设性质只要求可交换性前提,即数据点的顺序不影响其联合分布
还有 1 条时间轴事件
全部知识事实 (11)
仅用80次模拟训练的case A边界在65次独立运行中正确标注64次。
50%待验证共形预测给出的覆盖保证不依赖模型是否被良好校准,相比softmax概率更稳健。
50%待验证现有不确定性估计方案通常需要多次采样(5倍或更多算力)、引入裁判模型或依赖标注数据集,成本较高且只给出笼统置信度。
50%待验证共形预测可作为包装层叠加在任何已训练好的模型之上,无需重新训练或修改模型结构
50%待验证在时间序列、在线学习或存在概念漂移的场景中可交换性会被破坏,此时需借助加权共形预测或自适应共形推断等扩展方法恢复覆盖保证
50%待验证共形预测是一种输出预测集合或预测区间并附带严格统计覆盖保证的不确定性量化框架
50%待验证预测集合的效率通常以预测集合的平均大小来衡量,在满足覆盖率的前提下集合越小越好
50%待验证预测集合的大小是有用信号:集合越大说明模型越犹豫,集合越小甚至含单一标签则表示模型高度自信
50%待验证共形预测依赖非一致性分数和校准集两个关键概念,校准集是独立于训练集且带有真实标签的数据
50%待验证共形预测的无分布假设性质只要求可交换性前提,即数据点的顺序不影响其联合分布
50%待验证共形预测能在有限样本下给出有理论保证的覆盖率,且不依赖底层模型类型(随机森林、神经网络或其他黑箱模型)
50%