Gradient Boosting
一种集成机器学习方法，通过迭代地训练弱学习器（通常为决策树）并沿梯度方向叠加，可理解为泛函梯度下降在特定基函数族上的特例
核心事实
时间轴 (近 90 天)
作者计划下一个学习Gradient Boosting，ML阶段还剩7-8个算法概念，最终目标转向深度学习
XGBoost于2016年推出，LightGBM于2017年推出，二者与CatBoost均以Gradient Boosting为理论基石
AdaBoost本质上是在指数损失函数下的特例，而Gradient Boosting是更通用的优化框架
Gradient Boosting思想由Friedman于2001年提出
研究采用梯度提升架构拟合排放基线，并引入 Mondrian Conformal Prediction 提供带统计保证的预测区间
梯度提升（Gradient Boosting）将AdaBoost的思想推广到任意可微损失函数，其核心操作是每一轮新模型拟合上一轮的残差
经典的 Boosting 算法（如 Gradient Boosting）可理解为泛函梯度下降框架的特例，每次迭代用一棵新决策树近似梯度方向
该学生的UFC Fight Predictor项目使用Gradient Boosting和Streamlit技术栈，并已实际上线
相比深度学习，梯度提升在中小型数据集上通常更稳定、更可解释、训练更快
Gradient Boosting算法长期主导Kaggle结构化/表格数据竞赛排行榜，被认为是非图像、非文本数据的默认最优选择
还有 1 条时间轴事件
全部知识事实 (10)
Gradient Boosting是一类集成学习算法，通过迭代训练弱学习器（通常是决策树），每个新模型专注于纠正上一轮的残差
65%已验证相比深度学习，梯度提升在中小型数据集上通常更稳定、更可解释、训练更快
65%待验证该学生的UFC Fight Predictor项目使用Gradient Boosting和Streamlit技术栈，并已实际上线
85%待验证Gradient Boosting算法长期主导Kaggle结构化/表格数据竞赛排行榜，被认为是非图像、非文本数据的默认最优选择
80%待验证XGBoost于2016年推出，LightGBM于2017年推出，二者与CatBoost均以Gradient Boosting为理论基石
50%待验证Gradient Boosting思想由Friedman于2001年提出
50%待验证AdaBoost本质上是在指数损失函数下的特例，而Gradient Boosting是更通用的优化框架
50%待验证研究采用梯度提升架构拟合排放基线，并引入 Mondrian Conformal Prediction 提供带统计保证的预测区间
50%待验证梯度提升（Gradient Boosting）将AdaBoost的思想推广到任意可微损失函数，其核心操作是每一轮新模型拟合上一轮的残差
50%待验证经典的 Boosting 算法（如 Gradient Boosting）可理解为泛函梯度下降框架的特例，每次迭代用一棵新决策树近似梯度方向
50%