零阶朗之万动力学：曲率正则化与非渐近保证

零阶优化的隐藏代价：高斯平滑如何引入曲率正则化

零阶优化方法只依赖带噪声的函数值评估，不访问梯度或更高阶导数，因此在黑盒优化、强化学习策略搜索等场景中备受关注。然而，这种方法有一个常被忽视的副作用：梯度估计器中的平滑操作会悄悄改变被优化的目标函数。

据该研究分析，当使用参数为 η>0 的高斯平滑时，平滑后的目标函数在主导阶上等价于在原目标中隐式加入了一个 Hessian 迹正则项，即 f(x) + (η²/2) tr(∇²f(x))。这意味着，零阶方法实际优化的并不是原始目标，而是一个曲率被正则化后的版本。这一观察构成了整篇论文的出发点：与其把平滑视为单纯的估计技巧，不如正视它带来的目标偏移，并为之建立严格的理论刻画。

ZOLD 算法与非渐近分析框架

论文研究了一类称为随机零阶朗之万动力学（ZOLD）的算法。这类算法仅使用带噪声的函数值评估，完全不依赖一阶或更高阶导数信息，却在非凸设定下运行。作者为曲率正则化目标建立了非渐近的超额风险保证。

分析分两步推进。第一步，用 Wasserstein 距离控制 ZOLD 迭代的有限时间分布，将其与高斯平滑目标对应的 Gibbs 测度进行比较。第二步，显式地建立平滑参数与逆温度参数之间的耦合关系，从而量化该测度与 Hessian 迹正则化目标所对应 Gibbs 测度之间的接近程度。这两步分布估计最终转化为曲率正则化目标的超额风险界。

据原文表述，这是首个在非凸设定下同时对曲率正则化目标给出超额风险保证、并对相关 Gibbs 测度给出 Wasserstein 保证的零阶朗之万方法非渐近分析。

摆脱 log-Sobolev 与 Poincaré 假设

以往零阶朗之万分析往往依赖 log-Sobolev 不等式或 Poincaré 不等式来获得收敛性。这篇论文的一个技术贡献在于，其非渐近界中的常数不依赖这些不等式。这放宽了理论适用的目标函数范围，使分析能够覆盖更一般的非凸情形。

log-Sobolev 不等式与 Poincaré 不等式是刻画马尔可夫半群收敛速度的两类函数不等式。前者控制相对熵的衰减，后者控制 (L^2) 方差的衰减；两者都能推出朗之万动力学以指数速率收敛到 Gibbs 测度，但要求目标函数具有较强的凸性或满足一致条件。许多非凸目标并不满足这些不等式，强行假设会缩小理论的适用范围。本文的非渐近界不依赖它们，意味着收敛保证可以覆盖更一般的非凸景观，代价是界中可能出现与维度或时间相关的多项式因子。

非均匀数据依赖

论文的假设允许随机函数评估对数据流具有非均匀依赖。也就是说，不同时刻的噪声评估可以以不同方式依赖历史数据，而不要求独立同分布或均匀采样。这一设定更贴近在线学习与流式优化的实际情形。

Wasserstein 距离衡量两个概率分布之间的最优传输代价：把一堆“沙子”从一个分布搬到另一个分布所需的最小功。在算法分析中，它常用来量化迭代分布与目标 Gibbs 测度之间的整体差异，比总变差距离更能反映分布在高维空间中的几何接近程度。本文用其控制 ZOLD 迭代的有限时间分布与平滑目标 Gibbs 测度的距离，正是因为它对分布尾部和支撑集的差异敏感，适合非凸、重尾场景下的非渐近刻画。

Gibbs 测度是形式为 (\mu(dx) \propto \exp(-\beta f(x))dx) 的概率分布，其中 (\beta) 为逆温度。它可视为在目标函数 (f) 的“能量景观”上、以温度 (1/\beta) 进行热涨落后的平衡分布：(\beta) 越大，质量越集中在 (f) 的低值区域。朗之万动力学的长期行为正是收敛到相应 Gibbs 测度，因此用其作为比较基准，可以把“算法是否找到好解”转化为“迭代分布离 Gibbs 测度有多近”。

方法意义与适用边界

这项工作把零阶方法的"平滑偏差"从工程细节提升为理论对象。实践者由此可以获得一个明确的判断依据：高斯平滑带来的曲率正则化并非纯粹的误差，它在主导阶上是一个可分析、可控制的隐式正则项。对于关心黑盒非凸优化的研究者而言，ZOLD 的分布估计路线提供了一套不依赖强凸性或函数不等式假设的分析模板。

说一下，论文的保证针对的是曲率正则化后的目标，而非原始目标。两者之间的差距由平滑参数 η 控制，η 的选择同时影响正则化强度与分布逼近精度，构成一个需要权衡的设计变量。原文未给出具体取值建议，实际应用仍需结合问题尺度调整。

要点速览

• 高斯平滑在主导阶上等价于在目标中加入 (η²/2) tr(∇²f(x)) 的 Hessian 迹正则项。
• ZOLD 仅用带噪声函数评估，在非凸设定下获得曲率正则化目标的超额风险界。
• 分析通过 Wasserstein 距离控制迭代分布，并显式耦合平滑参数与逆温度参数。
• 非渐近界中的常数不依赖 log-Sobolev 或 Poincaré 不等式，且允许评估对数据流的非均匀依赖。