线性回归
一种统计和机器学习方法,通过拟合自变量与因变量之间的线性关系建立预测模型,输出系数(权重)和截距构成可解释的线性公式
核心事实
时间轴 (近 90 天)
杠杆矩阵源自线性回归中的杠杆值概念,用于衡量每个训练样本对模型预测的影响程度。
研究者在线性回归中推导出了输出空间差距的闭式表达式,并通过广义高斯-牛顿法和局部线性近似将其扩展到非线性模型。
因变量是连续数值时,线性回归是合理起点,可解释性强
线性回归的系数本质上就是模型公式中的权重,无需额外转换
在线性回归中拖动离群点可以直观看到最小二乘法如何被异常值拉偏
多变量线性回归可用矩阵形式表示为 y = X · W + b
单变量线性回归模型可表示为 y = w * x + b,其中w是权重(斜率),b是偏置(截距)
线性回归存在解析解(正规方程)时标准化并非必须,但使用迭代优化时标准化几乎是必要步骤
线性回归的梯度下降框架可迁移到逻辑回归、神经网络等更复杂模型
线性回归的损失曲线呈凸碗形,凸性保证优化存在唯一的全局最小值,梯度下降不会陷入局部最优
还有 6 条时间轴事件
全部知识事实 (16)
线性探针是在模型激活值上训练的简单线性分类器,用于检测模型内部是否存在特定行为或概念
75%已验证单变量线性回归模型可表示为 y = w * x + b,其中w是权重(斜率),b是偏置(截距)
65%待验证杠杆矩阵源自线性回归中的杠杆值概念,用于衡量每个训练样本对模型预测的影响程度。
50%待验证研究者在线性回归中推导出了输出空间差距的闭式表达式,并通过广义高斯-牛顿法和局部线性近似将其扩展到非线性模型。
50%待验证因变量是连续数值时,线性回归是合理起点,可解释性强
50%待验证线性回归的系数本质上就是模型公式中的权重,无需额外转换
50%待验证在线性回归中拖动离群点可以直观看到最小二乘法如何被异常值拉偏
50%待验证多变量线性回归可用矩阵形式表示为 y = X · W + b
50%待验证线性回归存在解析解(正规方程)时标准化并非必须,但使用迭代优化时标准化几乎是必要步骤
50%待验证线性回归的梯度下降框架可迁移到逻辑回归、神经网络等更复杂模型
50%待验证线性回归的损失曲线呈凸碗形,凸性保证优化存在唯一的全局最小值,梯度下降不会陷入局部最优
50%待验证从零用NumPy实现线性回归的项目能连接微积分、线性代数和编程,帮助理解梯度下降和学习率对收敛的影响
50%待验证同方差假设下噪声方差恒定,是经典线性回归的标准假设;异方差下方差随输入变化
50%待验证经典线性回归采用同方差假设
50%待验证线性回归的闭式解为 w = (X^T X)^{-1} X^T y,涉及矩阵转置、矩阵乘法和矩阵求逆
50%待验证该作者对比了线性回归、岭回归、随机森林、梯度提升四种模型,四者表现出完全相同的偏差
50%