#超参数优化

共 4 篇相关文章

研究比较决策树、随机森林、XGBoost与RNN、DNN、孪生网络在房颤检测中的表现，并使用遗传算法、Hyperband、Optuna、SMAC3进行超参数优化。基于PhysioNet ECG数据，Hyperband优化的XGBoost取得96.95%峰值F1，患者间与患者内划分验证了模型鲁棒性。

实验表明PBT并不加速grokking，但能帮助模型逃离无解超参数死区。模97加法任务上，快速PBT从死区逃逸成功，而固定配置全部失败。调度回放验证结果由超参数轨迹携带。

一项系统性研究通过密集超参数网格实验揭示DPO超参数景观：最优学习率随模型规模变化，超参数无法跨数据集迁移，验证损失与下游基准最优解仅弱相关，短候选训练可显著降低调参成本。

DP-μP 框架解决 μP 在差分隐私下超参数迁移失效的问题，通过 SNR 条件和谱缩放给出 DP-SGD、DP-Adam、DP-Muon 的学习率缩放规则，实现跨模型宽度的零样本迁移。