LlMBO

LlMBO（Large language Model Bayesian Optimization）将贝叶斯优化引入LLM微调。

LlMBO具有样本高效、无梯度、内存轻量、天然并行以及直接优化目标指标（如贪婪解码准确率）等核心优势。

在数学基准测试套件的低维微调实验中，LlMBO的微调增益与GRPO持平甚至更优，但使用的计算量和内存只是后者的一小部分。

LlMBO目前仍局限于低维微调场景，对于全参数训练或大规模适配，梯度方法依然不可替代。