SwarmEvolve：潜空间智能体集群加速进化搜索

传统LLM引导的进化搜索依赖智能体生成完整的文本思维链来迭代优化程序，但每轮生成耗时较长且需反复生成以保持种群多样性，导致整体效率偏低。SwarmEvolve提出了一种新框架：每轮部署数百个低成本智能体，让它们在潜空间中直接推理而无需解码为文本，并通过传递KV缓存共享信息。每个集群从不同角度研究问题，新颖性过滤器通过测量智能体隐藏状态向量之间的距离保留最独特的想法，而汇总智能体接收所有集群成员的组合KV缓存，使想法在潜空间中自然交叉。在21个数学发现与科学计算问题上，SwarmEvolve取得了最高的平均分数，并且达到其他最先进框架需60分钟才能获得的最佳分数，中位数仅需3到8分钟。在若干问题上，使用Qwen3 8B的SwarmEvolve甚至改进了AlphaEvolve首次用前沿LLM找到的解。这项工作表明，在潜空间中通信的智能体集群为科学问题的程序搜索提供了一种快速、低成本的方法。

潜空间通信：绕过文本瓶颈

SwarmEvolve的核心创新在于用潜空间推理替代文本思维链。传统方法中，LLM每轮需生成冗长的文本解释，且为维持种群多样性必须多次生成，这成为速度瓶颈。SwarmEvolve让每个智能体在隐藏状态空间中直接推理，无需解码为自然语言，并通过KV缓存传递信息。这种设计大幅减少了生成开销，同时保留了智能体间的信息交流能力。数百个低成本智能体组成的集群可以并行探索不同方向，而KV缓存的共享机制确保了知识的有效整合。

KV缓存是大语言模型在自回归生成过程中缓存的历史键值对（Key/Value），用于避免对已处理token的重复计算。在SwarmEvolve中，智能体不将隐藏状态解码为文本，而是直接共享KV缓存，使其他智能体能够“读取”其推理轨迹的中间表示。这种共享相当于在潜空间中传递信息，既保留了推理过程的结构化信息，又省去了文本解码与重新编码的开销。KV缓存的组合与传递因此成为智能体间通信的轻量级通道，也是实现数百智能体并行协作的关键技术基础。

新颖性过滤与潜空间交叉

为了保持种群多样性，SwarmEvolve引入了新颖性过滤器：通过计算智能体隐藏状态向量之间的距离，筛选出最独特的想法。这避免了传统方法中因文本生成随机性导致的冗余。更巧妙的是，交叉操作在潜空间中自然发生——汇总智能体接收所有集群成员的组合KV缓存，从而融合不同思路。这种机制无需显式的文本重组，却能实现高效的想法杂交。每个集群从不同角度研究问题，进一步增强了探索的广度。

隐藏状态向量指LLM在处理输入时，各层Transformer产生的内部表示。SwarmEvolve取智能体在推理结束时的隐藏状态（通常是最后一层或池化后的向量）作为其“想法”的语义摘要。通过计算这些向量之间的余弦距离或欧氏距离，可以量化不同智能体探索方向的差异程度。距离越大，说明想法越独特。新颖性过滤器据此保留距离最远的个体，从而在潜空间层面维持种群多样性，避免了传统方法中依赖文本相似度去重所带来的语义丢失和高昂计算成本。

实验表现：速度与质量的双重优势

在21个数学发现和科学计算问题上，SwarmEvolve取得了最高的平均分数。更引人注目的是其速度：达到其他最先进框架需60分钟才能取得的最佳分数，SwarmEvolve的中位数时间仅为3到8分钟。在部分问题上，使用Qwen3 8B的SwarmEvolve甚至改进了AlphaEvolve首次用前沿LLM找到的解。这表明潜空间集群方法不仅快速，还能在解的质量上超越依赖文本推理的方案。低成本智能体的集群协作，通过潜空间通信实现了高效搜索。

AlphaEvolve是DeepMind提出的进化式程序搜索框架，它利用前沿LLM（如Gemini）生成代码变体，并在数学与计算问题上发现了改进的算法。AlphaEvolve依赖完整的文本思维链进行迭代，每轮生成成本高，但借助强大LLM的推理能力取得了显著成果。SwarmEvolve与AlphaEvolve的对比意义在于：前者用低成本模型集群和潜空间通信，在部分问题上达到了后者用前沿LLM才能获得的解，甚至有所改进。这说明搜索效率与通信机制的设计可能比单纯堆叠模型参数量更为关键。

对AI驱动科学发现的启示

SwarmEvolve展示了潜空间通信在程序搜索中的潜力。传统进化搜索受限于文本生成的串行性和多样性维持成本，而潜空间集群通过并行、低成本的智能体协作，显著提升了搜索效率。这种方法不依赖前沿LLM的庞大参数量，却能在特定问题上取得更好结果，为AI辅助科学发现提供了新思路。未来，潜空间通信或可扩展到更广泛的优化问题，推动低成本、高效率的自动程序搜索发展。