特征工程
机器学习中将原始数据转化为模型可理解数值特征的过程,包括特征提取、特征变换和特征选择,被认为是机器学习中含金量最高的技能之一
核心事实
时间轴 (近 90 天)
好的特征能降低模型学习难度,甚至让简单模型(如线性回归)达到复杂模型的效果
常见特征工程操作包括缺失值填充、类别特征编码(如独热编码、目标编码)、数值特征标准化/归一化、分箱、交叉特征组合以及时间序列的滞后特征和滑动窗口统计量
业界常说“数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限”。
用LLM做分类,本质上是在做特征工程
提示词工程在很大程度上就是特征工程的现代化身
特征工程包括编码、归一化和特征选择
数据清洗、特征工程和探索性数据分析(EDA)是实习岗位中最高频的实际工作内容
特征工程在有了基线且模型处于欠拟合状态时最有价值,是Kaggle竞赛中拉开分数差距的最大杠杆
超参数调优应放在最后阶段,通常只能带来边际提升,好的特征工程和模型选择才是主要收益来源
关节角度用sin/cos对表示可消除角度周期性不连续的问题(如359°和1°数值差异大但物理上相近)
还有 4 条时间轴事件
全部知识事实 (17)
特征工程是指从原始数据中提取、变换和构造对模型预测有价值的输入变量的过程
75%已验证微调的成败80%取决于数据质量,数据准备通常占据整个项目60%-70%的工作量
70%已验证在真实工业环境中,数据科学家通常花费60%-80%的时间在数据清洗和特征工程上,而非模型调优
65%待验证在结构化数据场景(如金融风控、推荐系统)中,特征工程仍然至关重要
85%待验证好的特征能降低模型学习难度,甚至让简单模型(如线性回归)达到复杂模型的效果
50%待验证常见特征工程操作包括缺失值填充、类别特征编码(如独热编码、目标编码)、数值特征标准化/归一化、分箱、交叉特征组合以及时间序列的滞后特征和滑动窗口统计量
50%待验证业界常说“数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限”。
50%待验证提示词工程在很大程度上就是特征工程的现代化身
50%待验证用LLM做分类,本质上是在做特征工程
50%待验证特征工程包括编码、归一化和特征选择
50%待验证数据清洗、特征工程和探索性数据分析(EDA)是实习岗位中最高频的实际工作内容
50%待验证超参数调优应放在最后阶段,通常只能带来边际提升,好的特征工程和模型选择才是主要收益来源
50%待验证特征工程在有了基线且模型处于欠拟合状态时最有价值,是Kaggle竞赛中拉开分数差距的最大杠杆
50%待验证关节角度用sin/cos对表示可消除角度周期性不连续的问题(如359°和1°数值差异大但物理上相近)
50%待验证特征工程通常占据数据科学项目 60-80% 的工作量
50%待验证构造趋势斜率、趋势一致性(连续上升或下降的月份数或R²)、当前值相对于个人长期趋势线的位置等特征可以区分增长与衰退医生
50%待验证在 Kaggle 结构化数据竞赛中,获胜方案通常 80% 精力花在特征工程和数据清洗上,20% 花在模型选择与调参上
50%