专家乘积高斯过程：大规模贝叶斯优化新范式

大规模贝叶斯优化（BO）长期面临一个工程困境：独立局部高斯过程（GP-ind）搭配信赖域的方法虽然能扩展至高维空间，却会在区域边界产生不连续、丢失长程相关性，并带来计算开销的骤增。一篇新论文提出的 BO-pro-c-tr 算法，试图用「带不确定性校准的专家乘积高斯过程」（GP-pro-c）从模型层面重构这一范式。

为何局部 GP 模型的组合方式遭遇瓶颈

GP-ind 的核心思路是把全局问题切分成若干独立子区域，各自训练局部 GP，再由信赖域机制决定在哪个区域采样。这一设计显得直观，但论文指出了几处结构性缺陷。

最直接的问题是边界不连续：不相交区域的模型互不知晓，预测在边界处会跳变，导致采集函数的选择出现人为伪影。其次是长程空间相关性缺失——每个局部模型只关心自己的一块，全局层面的信息无法向上传递，可能造成信息损失。此外，局部模型的激进扩展会引发计算开销的陡然上升，削弱了分治策略本应带来的效率优势。

这些缺陷不是调参能解决的，它们源自「独立局部模型」这一建模假设本身。

高斯过程（Gaussian Process, GP） 是贝叶斯优化中的标准代理模型，它定义了一个关于函数的先验分布，任意有限个点的函数值服从联合高斯分布，由均值函数和协方差函数（核函数）完全刻画。GP 的优势在于能给出预测均值和方差，后者直接作为采集函数中不确定性估计的来源。然而 GP 的训练需要计算协方差矩阵的逆，时间复杂度为 O(n³)，其中 n 是观测点数量。当观测点达到数千甚至上万时，这一开销变得不可接受。独立局部 GP 正是为规避这一瓶颈而生：将搜索空间切分为多个子区域，每个子区域只用本区域的少量数据训练局部 GP，从而把三次方复杂度控制在可管理的局部规模上。但这带来了模型层面的割裂，因为每个局部模型只看到自己的数据，全局函数的光滑性和相关性假设被打破。

专家乘积模型：从独立到联合的建模转向

POE 的思路是让多个专家（即多个局部 GP）共同对同一预测点给出分布，再通过乘积方式融合为单一的高斯预测。相比「先选区域、再看局部模型」的硬切换，POE 天然具备平滑融合的特性，能缓解边界不连续问题，也让不同区域的信息在预测层面汇聚。

论文在标准 POE 基础上加入了不确定性校准，构成 GP-pro-c。这一校准步骤针对的是 POE 的经典短板：多个专家独立预测后直接相乘，容易产生过度自信的方差估计，而采集函数（如 GP-LCB）恰恰依赖不确定性来决定探索方向。校准后的不确定性更可信，采集决策也更稳健。

值得说明的是，POE 并非全新概念，但在大规模 BO 场景下与信赖域机制结合，需要解决「局部模型与区域如何对应」的工程问题，这正是论文的另一贡献所在。

专家乘积（Product of Experts, PoE） 最初由 Hinton 提出，其核心思想是让多个模型（专家）各自对同一输入给出概率分布，再将这些分布相乘并归一化，得到融合后的预测分布。对于高斯分布而言，乘积仍是高斯分布，其精度矩阵（协方差的逆）等于各专家精度矩阵之和，均值则是各专家均值按精度加权的结果。这意味着 PoE 融合后的方差通常小于任一专家的方差，即多个模型的一致意见会带来更高的置信度。但这也正是过度自信的来源：如果各专家基于高度重叠或相关的数据训练，其独立性假设不成立，简单相乘会低估真实的不确定性。不确定性校准因此成为必要步骤，常见做法包括温度缩放、方差膨胀或基于验证数据的后验校准，目的是让融合后的方差更好地匹配实际预测误差，从而为采集函数提供可靠的探索信号。

一对多关联策略：让 POE 与信赖域对接

传统 GP-ind 与信赖域是「一对一」关系——一个局部模型服务一个区域。而 POE 形式的代理模型是全局共享的，无法简单套用这一映射。

论文提出的一对多关联策略解决了这一对接问题：一个 GP-pro-c 代理模型可以支撑多个信赖域，信赖域仍负责局部探索的调度，但底层预测由统一的 POE 模型提供。这样既保留了信赖域在局部搜索上的优势，又避免了独立模型之间的信息割裂。

从架构上看，这是一种「调度层与建模层分离」的设计：信赖域管探索节奏，POE 管全局信息融合。

信赖域（Trust Region） 方法是大规模贝叶斯优化中常用的局部搜索机制：在当前最优候选点附近定义一个球形或超矩形区域，在该区域内优化采集函数并采样，然后根据观测结果扩大或缩小该区域。传统做法中，每个信赖域对应一个独立训练的局部 GP，区域切换时模型也随之切换，造成预测不连续。一对多关联策略的关键在于解耦：POE 代理模型在全局范围内持续更新，为任意查询点提供融合预测；而信赖域只负责决定「下一步在哪里采样」这一调度问题。由于查询点可以落在任何区域，POE 会自然地融合该点附近所有专家的信息，边界处的预测不再跳变。这种架构类似于将「模型学习」与「搜索控制」分成两个独立模块，便于分别优化和扩展。

实验数据：小幅精度提升与显著开销下降

论文给出的实证结果值得关注。在与 GP-LCB 采集函数结合时，BO-pro-c-tr 相对基于独立局部 GP 与信赖域的方法，平均简单遗憾降低 2.6%，计算开销降低 34.9%。

两个数字的分量并不对等。2.6% 的遗憾改善属于稳健但温和的精度收益，说明 POE 融合带来的信息共享确实有效，但没有颠覆性的性能跃迁。34.9% 的开销下降则更具实际意义：大规模 BO 的落地瓶颈往往不是「能否找到更优点」，而是「跑不跑得起」。近三分之一的算力节省，意味着同等预算下可以覆盖更大规模的问题，或把资源投向更多轮迭代。

需要注意的是，这是平均意义上的结果，论文未披露不同问题规模或维度下的分布情况，实际部署时的收益可能因场景而异。

简单遗憾（Simple Regret） 是贝叶斯优化中衡量性能的常用指标，定义为当前推荐的最优点与全局真实最优值之间的差距，即 f(x*) − f(x_best)，其中 x_best 是算法至今找到的最优解。与累积遗憾不同，简单遗憾只关注最终解的质量，不惩罚搜索过程中的探索成本，因此更适合评价「最终能找到多好的解」这一目标。平均简单遗憾则是在多个随机种子或多次独立运行上的平均值，用于消除单次实验的随机性。2.6% 的降低意味着在相同评估预算下，BO-pro-c-tr 找到的最终解平均而言更接近真实最优，但幅度有限，说明 POE 融合带来的信息共享主要起锦上添花的作用。相对地，计算开销的降低直接反映在同等算力下可运行的迭代次数或可处理的问题规模上，对于实际部署往往更为关键。

对大规模 BO 实践者的启示

这项工作的价值不在于发明了某个孤立技巧，而在于提示了一条模型层面的改进路径：当分治策略的边界效应成为瓶颈时，与其在信赖域调度上继续打补丁，不如重新审视代理模型本身的组合方式。

对于需要在高维空间做超参数搜索、实验设计或工程优化的团队，POE 加不确定性校准的组合提供了一种折中方案——保留局部探索的并行性，同时恢复一定程度的长程信息流动。代价是 POE 的乘积融合本身也有计算成本，论文报告的净开销下降说明这一取舍在其实验设定下是划算的，但迁移到其他问题结构时仍需验证。