函数空间上的贝叶斯优化：L0MO方法解析

从向量到函数：贝叶斯优化的新战场

贝叶斯优化（Bayesian Optimization, BO）早已是机器学习超参数调优、实验设计等领域中处理黑盒函数最小化问题的成熟方法。它的典型假设是：待优化的目标是一个有限维向量。然而现实中，很多问题的参数向量其实来源于某种本质上连续的函数关系的离散化——例如控制曲线、材料分布、时变信号等。把这些对象硬塞进固定维度的向量空间，往往会丢失其内在结构。

这正是近年来兴起的函数贝叶斯优化（Functional Bayesian Optimization, FBO）所要解决的核心问题：被优化的变量不再是有限维向量空间的成员，而是存在于无限维函数空间中。这篇 arXiv 新论文正是在这一设定下，提出了一种名为 L0 Manifold Optimization（L0MO） 的新方法。

经典贝叶斯优化的工作流程通常包含两个核心组件：一是用高斯过程（Gaussian Process, GP）对目标函数建立概率代理模型，二是通过采集函数（acquisition function）（如期望提升 EI、上置信界 UCB 等）来决定下一个查询点。整个框架的计算瓶颈在于：每次迭代都需要在参数空间中最大化采集函数。当参数空间从有限维向量推广到无限维函数空间时，这一内层优化问题会变得极为棘手——既无法穷举搜索，也难以直接应用梯度下降，因此如何参数化函数空间、将其化为可优化的有限形式，成为 FBO 研究的核心挑战。

L0MO：在稀疏RKHS流形上搜索

论文的核心思路，是在再生核希尔伯特空间（Reproducing Kernel Hilbert Space, RKHS）的一个特定子集上进行搜索。这个子集由那些在核函数上具有稀疏表示的函数构成——也就是说，目标函数可以用相对少量的核函数线性组合来逼近。

具体而言，L0MO 同时优化两组量：

• 核函数的位置（kernel locations）：决定了这些基函数落在定义域的何处；
• 核函数的系数（coefficients）：决定了每个基函数的权重。

这种“稀疏表示”的设计，正是方法名称中 L0 的含义所在——它暗示了对表示中非零项数量的控制。通过限制在稀疏流形上搜索，L0MO 既保留了函数空间优化的表达能力，又避免了直接在无限维空间中操作带来的计算困境。相比把函数粗暴离散成高维向量再套用常规 BO，这种做法更贴合问题的内在几何结构。

**再生核希尔伯特空间（RKHS）**是一类特殊的函数空间，其核心性质是：空间中的每个函数都可以被一个核函数（kernel function）唯一确定，且点求值运算是连续的线性泛函。常见的核函数包括高斯核（RBF kernel）、Matérn核等。RKHS 之所以在机器学习中无处不在，是因为它兼具无限维函数空间的表达灵活性，又保留了内积结构，使得很多有限维线性代数的直觉可以推广过来。在贝叶斯优化中，高斯过程的协方差函数本身就定义了一个 RKHS——这意味着 L0MO 的搜索空间与 BO 中常用的先验模型在数学上天然相容。所谓"稀疏表示"，则类比于信号处理中的稀疏分解：用少数几个基函数的线性组合就能以足够精度描述目标函数，从而把无限维问题压缩为对有限个参数（位置 + 系数）的联合优化。

统一视角：与已有方法的关系

这篇工作的一个重要贡献，并不只是提出一个新算法，而是提供了一个统一的分析视角（unifying lens）。作者详细讨论了 L0MO 与现有 FBO 方法之间的关系，试图将先前零散的研究纳入同一框架下理解。

这种“统一视角”在方法论研究中价值很高：它帮助读者看清不同方法背后共享的数学结构，也让新方法的定位更加清晰——L0MO 不是凭空出现的替代品，而是对已有思路的一种自然延伸与推广。对于想进入 FBO 领域的研究者而言，这样的梳理本身就是一份有用的参考地图。

新基准与实验验证

要评估一个函数空间上的优化方法，面临一个现实难题：缺乏合适的测试基准。传统的 BO 基准函数几乎都是为有限维向量设计的。

为此，作者构建了一套全新的基准测试函数，其做法是将标准的有限维测试函数“移植”到无限维域上。这一副产品本身对整个 FBO 社区都有意义——它为后续方法的横向对比提供了可复用的试验台。

在这套扩展后的基准之上，作者进行了大规模的计算研究，将 L0MO 与当前最先进的方法进行对比。实验结果表明：综合来看，L0MO 在广泛的测试基准上取得了更优的表现。

意义与展望

L0MO 的价值在于它用一个相对简洁的思路——稀疏 RKHS 流形上的联合优化——应对了函数空间优化这一本质上困难的问题。对于那些参数天然来自连续函数的应用场景（如控制、物理建模、信号设计），直接在函数层面做优化有望带来更高效、更符合问题结构的解。

当然，作为一篇刚发布的预印本，其方法在真实世界大规模问题上的鲁棒性、稀疏度选择的敏感性、以及核函数位置优化的计算开销等问题，仍有待社区进一步检验。但它所提供的统一视角与新基准，已经为函数贝叶斯优化这一方向注入了新的推动力。