LLM驱动日志语义调优：MIP求解器配置新范式

混合整数规划（MIP）求解器的自动配置长期依赖黑盒优化，每次试验都需运行昂贵的求解器，且仅返回标量结果，导致调优效率低下。人类专家则通过查看求解器日志、定位性能瓶颈并调整相关参数来解决问题。受此启发，研究者提出日志驱动的语义调优（LDST），利用大语言模型（LLM）自动化这一过程。LDST从求解器日志中提取紧凑的诊断信息，基于参数含义和观察到的求解器行为，由LLM提出对当前最优配置的稀疏修改，并在执行前验证每个提议。在来自五个基准集的215个实例上，LDST相较于SMAC3、RBFOpt和随机搜索中的最佳表现，将简单实例的几何平均损失降低了43.9%，中等实例降低了16.7%。在两个难度区间，LDST仅用10次提议就达到了这些基线方法用50次提议才能达到的更低损失。此外，在单个实例上调优得到的配置，在迁移到同一家族的其他未见实例时，表现也优于基线配置。

传统调优的瓶颈与人类专家的启示

自动配置MIP求解器通常被视为黑盒优化问题：调优器反复尝试参数组合，观察求解器返回的标量目标值（如求解时间或间隙），并据此更新搜索策略。这种范式虽然通用，但存在明显缺陷——每次试验都需要完整运行求解器，成本高昂；标量结果丢失了求解过程中丰富的中间信息；调优过程如同盲人摸象，需要大量评估才能收敛。

相比之下，人类专家会直接阅读求解器日志，观察分支定界树的增长、节点处理速度、割平面效果等细节，从而判断瓶颈所在（例如分支策略不当或预处理不足），并针对性地调整少数关键参数。这种基于语义的推理方式，恰恰是黑盒优化所欠缺的。

LDST的核心思想是将人类专家的这种推理过程自动化。它不把求解器视为黑盒，而是利用LLM理解日志中的语义信息，并基于参数含义提出有根据的修改。

混合整数规划（MIP） 是一类优化问题，其中部分决策变量被约束为整数（或0-1变量），目标是在满足线性约束的条件下最小化或最大化线性目标函数。MIP广泛应用于物流调度、生产计划、金融投资组合等场景。求解MIP的经典算法是分支定界（Branch and Bound）：它通过不断将问题分解为子问题（分支）并计算每个子问题的下界（定界）来逐步缩小搜索空间，直至找到最优解。求解器日志中记录的正是分支定界树的生长、节点处理、割平面生成等过程信息，这些信息是LDST进行语义诊断的基础。

LDST如何工作：从日志到语义编辑

LDST的流程可分为三个关键步骤：

1. 日志诊断提取：从求解器日志中提取紧凑的诊断信息，如分支定界树的增长模式、节点求解时间分布、割平面生成效率等。这些信息比原始日志更精炼，但保留了关键的语义特征。

2. LLM提议稀疏编辑：将当前最优配置、参数含义以及诊断信息输入LLM，要求其提出稀疏的参数修改建议（即只调整少数参数）。LLM基于对参数作用的理解和观察到的求解器行为进行推理，例如“如果分支定界树增长过快，可能需要调整分支策略参数”。

3. 验证与执行：每个提议在真正运行求解器前都会经过验证，确保参数值合法且修改方向合理，避免无效试验。

此外，LDST引入了一种机制自适应目标：根据限时运行可用的信息选择调优信号。对于已解决的运行，使用求解时间；对于未解决的运行，则通过日志中的分支定界树增长记录来估计完成时间，从而将已解决和未解决的运行统一到同一时间尺度上。这种设计使得调优过程能够充分利用有限时间内的信息，而不是简单地将未解决运行视为失败。

稀疏编辑 是指在调优过程中，每次只对当前最优配置中的少数几个参数进行修改，而不是同时调整大量参数。这种策略借鉴了人类专家调优时的做法：专家通常根据观察到的具体瓶颈，有针对性地调整一两个关键参数（例如分支策略或预处理强度），而不是全局随机搜索。稀疏编辑的好处在于，它降低了每次提议的搜索空间维度，使LLM的推理更聚焦，也减少了无效试验的风险。在LDST中，LLM被要求基于诊断信息提出稀疏修改，从而在保持配置稳定性的同时逐步逼近更优性能。

机制自适应目标 是LDST为处理限时调优场景而设计的一种目标函数构造方式。在MIP求解中，许多实例在给定时间限制内无法完全求解，此时传统的调优目标（如总求解时间）无法直接使用。LDST根据运行是否完成来选择不同的信号：对于已解决的运行，直接使用求解时间；对于未解决的运行，则利用日志中分支定界树的增长记录来估计完成时间。这种设计将两类运行统一到同一时间尺度上，使得调优过程能够充分利用未解决运行提供的信息，而不是简单地将它们视为失败。

实验表现：更少提议，更低损失

研究者在来自五个基准集的215个实例上评估了LDST。对比基线包括SMAC3、RBFOpt和随机搜索——这些是黑盒调优的代表性方法。

结果显示，在简单实例上，LDST将几何平均损失降低了43.9%；在中等实例上降低了16.7%。更引人注目的是效率优势：在两个难度区间，LDST仅用10次提议就达到了比基线方法用50次提议更低的损失。这意味着LDST大幅减少了所需的求解器运行次数，从而显著降低了调优成本。

迁移能力方面，LDST在单个实例上调优得到的配置，在迁移到同一家族的其他未见实例时，表现也优于基线配置。这表明LDST学到的不是针对特定实例的过拟合配置，而是能够泛化到同类问题的参数调整策略。

SMAC3（Sequential Model-based Algorithm Configuration）和RBFOpt（Radial Basis Function Optimization）是两种代表性的黑盒优化方法，常用于算法配置和超参数调优。SMAC3基于随机森林代理模型和期望改进采集函数，通过迭代地拟合模型并选择下一个评估点来优化目标；RBFOpt则使用径向基函数插值构建代理模型，并结合全局优化策略。两者都仅依赖标量目标值，不利用求解器内部日志信息。LDST与它们对比，旨在验证语义调优在效率和效果上的优势。

语义调优的意义与局限

LDST展示了将LLM引入求解器调优的潜力：通过利用日志中的语义信息和参数含义，LLM能够像人类专家一样进行有针对性的推理，而非盲目搜索。这种方法不仅提升了调优效率，还降低了对大量评估的依赖。

不过，LDST目前仍依赖于LLM的推理质量，且日志诊断的提取方式可能影响最终效果。未来工作或许可以探索更丰富的日志特征、结合其他优化器进行混合调优，以及扩展到更多类型的求解器（如SAT、CP求解器）。

总体而言，LDST为MIP求解器的自动配置提供了一条新路径：从黑盒优化转向语义引导的稀疏编辑，让调优过程更接近人类专家的思维方式。