经验风险最小化
统计学习中的基本学习范式,通过最小化训练样本上的经验误差来选择假设,是许多学习算法的理论基础
时间轴 (近 90 天)
在相应的截断网络类上,经验风险最小化(ERM)能达到极小极大回归速率 n^{-2s/(2s+D)},且没有额外的对数因子。
论文没有回答截断网络类的 ERM 在实际优化中是否容易找到(优化景观问题),以及结论能否推广到非均匀误差或更一般的函数空间。
此前基于神经网络的 ERM 分析通常多出一个 log n 因子,需要借助更精细的模型选择或早停策略才能去掉。
在非退化类上,每个一致学习器(无论怎样打破平局)都能达到最优的可实现样本复杂度,差距仅在常数因子之内。
研究采用经验风险最小化的视角,将PFN部署误差分解为先验误差、上下文误差和摊销误差三个来源
经验风险最小化的理论根基可追溯到 Vapnik 和 Chervonenkis 在1970年代的工作,他们证明了在假设空间VC维有限等条件下经验风险最小化者能以可控速率收敛到真实风险最小化者
经验风险最小化(ERM)的理论根基可以追溯到Vapnik和Chervonenkis在1970年代的开创性工作
全部知识事实 (7)
在相应的截断网络类上,经验风险最小化(ERM)能达到极小极大回归速率 n^{-2s/(2s+D)},且没有额外的对数因子。
50%待验证论文没有回答截断网络类的 ERM 在实际优化中是否容易找到(优化景观问题),以及结论能否推广到非均匀误差或更一般的函数空间。
50%待验证此前基于神经网络的 ERM 分析通常多出一个 log n 因子,需要借助更精细的模型选择或早停策略才能去掉。
50%待验证在非退化类上,每个一致学习器(无论怎样打破平局)都能达到最优的可实现样本复杂度,差距仅在常数因子之内。
50%待验证研究采用经验风险最小化的视角,将PFN部署误差分解为先验误差、上下文误差和摊销误差三个来源
50%待验证经验风险最小化的理论根基可追溯到 Vapnik 和 Chervonenkis 在1970年代的工作,他们证明了在假设空间VC维有限等条件下经验风险最小化者能以可控速率收敛到真实风险最小化者
50%待验证经验风险最小化(ERM)的理论根基可以追溯到Vapnik和Chervonenkis在1970年代的开创性工作
50%