统计学习理论核心概念,描述模型预测误差中偏差(欠拟合)与方差(过拟合)之间的此消彼长关系,是理解正则化、交叉验证、集成学习等技术的基础框架
偏差-方差权衡由Geman等人在1992年形式化,均方误差可分解为MSE = Bias² + Variance
Ledoit-Wolf收缩是偏差-方差权衡的应用,引入适度偏差来大幅降低估计方差从而使总体估计误差最小化
监督学习模型在未见数据上的期望误差可分解为偏差²、方差和不可约噪声三个分量
简单模型(如线性回归)通常高偏差低方差,复杂模型(如深层神经网络)则低偏差高方差
偏差-方差权衡是理解模型欠拟合和过拟合的核心框架,高偏差意味着欠拟合,高方差意味着过拟合
模型的泛化误差等于偏差平方加方差加不可约噪声
总预测误差可以分解为偏差²+方差+不可约误差
模型的泛化误差等于偏差平方加方差加不可约噪声
65%待验证偏差-方差权衡由Geman等人在1992年形式化,均方误差可分解为MSE = Bias² + Variance
50%待验证Ledoit-Wolf收缩是偏差-方差权衡的应用,引入适度偏差来大幅降低估计方差从而使总体估计误差最小化
50%待验证监督学习模型在未见数据上的期望误差可分解为偏差²、方差和不可约噪声三个分量
50%待验证简单模型(如线性回归)通常高偏差低方差,复杂模型(如深层神经网络)则低偏差高方差
50%待验证偏差-方差权衡是理解模型欠拟合和过拟合的核心框架,高偏差意味着欠拟合,高方差意味着过拟合
50%待验证总预测误差可以分解为偏差²+方差+不可约误差
50%