HEMO：让搜索框架自我进化，多目标组合优化新范式

多目标组合优化（MOCO）的自动算子设计近年来开始借助大语言模型生成搜索与变异算子，但一个关键矛盾被长期忽略：算子在不断进化，发现算子的流程本身却固定不变。HEMO 提出把「框架」本身作为自进化对象，让自动算子设计从「造工具」升级为「改造造工具的方式」。

自动算子设计的瓶颈：进化的只是算子，不是流程

现有基于 LLM 的自动算子设计（AOD）方法，大致思路是让模型针对具体问题生成搜索算子和变异算子，再根据解的质量筛选保留。这样做的收益已经被多项工作验证，但它的演化边界也很清楚：被进化的只有算子，决定「检索哪些经验、改进哪些算子、选择哪些父代、如何编排搜索步骤」的流程逻辑始终是静态的。

当新的 Pareto 权衡出现、算子之间的交互关系发生变化时，搜索应该往哪里走、该怎么走，这些判断本应随之调整，而固定流程做不到这一点。HEMO 的出发点正是把这个缺口补上——把 AOD 的 harness（承载整个自动设计过程的框架）本身当作优化目标。

多目标组合优化（MOCO） 指同时优化两个或多个相互冲突目标的组合优化问题，典型例子包括多目标旅行商问题、多目标背包问题和多目标车辆路径问题。这类问题的解不是单一最优点，而是一组互不支配的解，构成 Pareto 前沿。所谓“互不支配”，是指解 A 在至少一个目标上优于解 B，且在其他目标上不劣于 B。搜索算法的目标就是尽可能逼近真实 Pareto 前沿，并保持解的多样性。由于目标之间的权衡关系会随问题实例变化，算子需要不断适应新的前沿形状——这正是固定流程难以应对的根源。

HEMO 的核心机制：一次只改一个模块

HEMO 维护一个持久的 harness 状态，并以模块为单位逐个更新。按照论文描述，它修订的逻辑覆盖四个层面：检索哪段经验、改进哪个算子、选择哪些父代、以及如何编排搜索步骤。这种「单模块更新」的设计降低了搜索空间的耦合度，让每次改动的效果更容易归因。

驱动这些更新的是下游解的质量与运行时间——也就是说，框架不是靠人工规则调整，而是靠实际优化表现来筛选。这一点与常见的元学习思路有相似之处，区别在于 HEMO 调整的对象是带有明确语义的流程模块，而不是黑箱参数。

Harness 在软件测试与 LLM 智能体语境中，指包裹被测系统或模型、负责驱动其运行并提供输入、收集输出与反馈的外层框架。在自动算子设计中，harness 决定了“向 LLM 提供哪些历史经验、要求它改进哪个算子、如何挑选父代、按什么顺序执行搜索步骤”等流程性决策。把 harness 作为优化对象，意味着不只是让 LLM 生成更好的算子代码，而是让系统学会调整自己组织搜索的方式。这与仅优化提示词或仅优化算子代码的做法有本质区别：harness 状态是持久的，跨多轮演化积累。

折扣 UCB 调度与持久记忆：让积累不白费

框架自进化面临两个现实问题：模块效用会随时间变化，以及历史经验如何在状态切换后保留。HEMO 用两个组件应对。

其一是折扣 UCB 调度器。它根据各模块效用的变化，把适应资源导向更有希望的模块，避免在已经饱和的方向上继续投入。其二是持久化记忆文件系统，它跨 harness 状态保存候选结果与诊断反馈，使后续状态能够站在此前积累的优化经验之上，而不是每次重置。二者结合，实际上是把「探索—利用」的平衡扩展到了框架层面。

UCB（Upper Confidence Bound） 是多臂老虎机问题中的经典探索—利用策略：每次选择“平均收益 + 探索奖励”最高的臂，其中探索奖励通常与选择次数的平方根成反比，从而在不确定性高的选项上给予机会。折扣 UCB 在此基础上引入折扣因子，使早期观测的权重随时间衰减，从而适应收益分布发生变化的非平稳环境。在 HEMO 中，每个可更新模块可视为一个“臂”，其“收益”由下游解的质量与运行时间衡量；折扣机制确保当某模块效用下降时，调度器能及时将适应资源转向其他模块，而不是被历史平均收益锁死。

实验表现：八项任务、两种进化骨架

论文在八项 MOCO 任务和两种结构不同的进化骨架上进行了验证，结果显示 HEMO 相比传统进化方法、神经网络方法以及基于 LLM 的 AOD 基线均有较强表现，并且能有效迁移到相关任务。这一设置的意义在于同时检验了任务广度与骨架通用性——如果只在单一进化框架上有效，框架自进化的说服力会大打折扣。

需要说明的是，上述结论来自论文自身的实验报告，跨任务迁移的具体幅度和适用边界仍有待更多独立复现来确认。

从优化算子到优化「发现算子的过程」

HEMO 的定位可以概括为一句话：把自动算子设计从进化单个算子，推进到改进发现这些算子的搜索过程。这个转向的价值在于，当问题结构变化导致 Pareto 前沿移动时，系统不需要依赖外部重新设计流程，而是有能力自行调整搜索的组织方式。

对做组合优化和 LLM 驱动算法设计的研究者来说，这条路线提示了一个值得关注的方向：自进化的对象未必要局限在解或算子上，承载整个搜索的框架同样可以是可学习、可演化的实体。其代价是系统复杂度上升，模块更新与调度带来的额外开销如何随任务规模变化，也是后续工作需要回答的问题。