XGBoost

梯度提升树模型（如XGBoost、LightGBM）长期在表格数据领域占据主导地位

梯度提升树（如XGBoost、LightGBM）长期以来在结构化数据任务上优于深度学习方法，因表格数据特征异质性强、样本量有限且缺乏局部连续性假设

梯度提升本质上是通过迭代地训练弱学习器、每一轮新的树专注于拟合上一轮的残差来实现集成效果

XGBoost于2016年引入了正则化目标函数和列采样

在Kaggle等平台上，XGBoost、LightGBM和CatBoost几乎垄断了结构化数据竞赛的顶级解决方案

树模型（如XGBoost、随机森林）对编码方式相对不敏感，而线性模型和神经网络则高度依赖合理编码

XGBoost引入了正则化项、列采样和高效的分裂点搜索算法（如直方图加速）

CatBoost由Yandex开发，擅长处理类别特征，与XGBoost、LightGBM并称GBDT三驾马车

梯度提升树模型（如XGBoost、LightGBM、CatBoost）长期主导表格数据处理领域

Hyperband之所以在XGBoost上表现突出，与其通过早停机制把计算预算集中到有希望的配置上有关

经Hyperband调优的XGBoost在所有模型与优化器组合中取得最佳表现，峰值F1分数达到96.95%

研究比较了决策树、随机森林、XGBoost、RNN、DNN和孪生神经网络在房颤检测中的表现

论文在 UNSW-NB15、CIC-IDS2017、EMBER2024 三个基准上，与校准后的 XGBoost、Random-Forest、MLP 和 Kitsune 对比，并测量了“Suricata（52,674 条 Emerging-Threats 规则）→ VX-One”的两阶段级联，在 CIC-IDS2017 上跨五天运行。

多类归因任务上，XGBoost 在 UNSW-NB15、CIC-IDS2017、EMBER2024 三个基准上全部胜出。

XGBoost是梯度提升的高效实现，引入正则化项控制模型复杂度、支持并行计算与稀疏感知，并采用二阶梯度信息优化目标函数。

XGBoost在平均绝对误差（MAE，3.97 MPa）和平均绝对百分比误差（MAPE，10.60%）上表现最优。

梯度提升（Gradient Boosting）和XGBoost在未见数据上的R²均达到0.903。

响应预测模型不一定要用复杂深度学习，用逻辑回归或梯度提升树（如XGBoost）基于少量特征即可获得明显效果。

Vespa 在排序管道中直接支持 XGBoost 和 LightGBM，包括使用廉价的第一阶段评分器，仅在最强候选上运行提升模型。

对于结构化数据任务，推荐使用Scikit-learn或XGBoost；对于自然语言任务，推荐spaCy或Hugging Face框架；对于深度学习，推荐TensorFlow或PyTorch。