单个图超网络零样本生成多架构权重，开源实现跨模态泛化

从零样本权重生成看超网络的新可能

最近Reddit上一位开发者开源了一个图超网络（Graph HyperNetwork, GHN）项目，能在单次前向传播中为未见过的ResNet、MLP-Mixer、MobileNet甚至Transformer预测全部权重。这意味着，对于全新的架构，无需任何微调即可获得一个可用的初始权重，从而大幅减少后续训练所需的步数。

该项目在多个数据集上展示了零样本性能，覆盖视觉、文本和一维波形三类模态。虽然部分结果仍有提升空间，但其跨架构、跨模态的泛化能力值得关注。

超网络如何工作

图超网络的核心思想是将目标架构的计算图作为输入，结合数据集嵌入，直接输出该架构的所有权重。开发者训练了一个单一的GHN，它能够处理不同结构的计算图，因此具备对未见架构的泛化能力。

在训练阶段，GHN学习从计算图到权重的映射关系。推理时，只需提供新架构的计算图和数据集嵌入，即可一次性生成全部权重，无需迭代优化。这种“零样本”能力使得GHN可以作为训练的热启动，减少后续梯度下降的步数。

超网络（HyperNetwork） 是一类元学习模型，其核心是让一个网络（超网络）为另一个网络（目标网络）生成权重。传统超网络通常针对固定架构设计，输入是任务或数据集信息，输出是该架构的权重。与之不同，图超网络（Graph HyperNetwork, GHN） 将目标架构的计算图（节点表示算子，边表示数据流）作为输入，通过图神经网络编码计算图的结构信息，再结合数据集嵌入，输出图中每个节点对应的权重。这种设计使 GHN 能够处理任意结构的计算图，从而具备对未见架构的泛化能力。计算图表示是 GHN 实现架构无关性的关键，它避免了针对特定架构手工设计超网络结构。

零样本性能实测

开发者提供了在多个数据集上的零样本准确率（表格如下，数据来自原帖）：

模型	ResMLP	ResNet2D	MLP-Mixer	MobileNet2D	MLP	CNN1D	Transformer
MNIST	93.96%	93.66%	89.58%	74.53%	/	/	/
FashionMNIST	83.99%	75.88%	78.59%	/	/	/	/
KMNIST	78.10%	62.15%	/	/	62.15%	/	/
Waveforms1D	/	/	/	/	/	99.84%	89.38%
20Newsgroups	/	/	/	/	/	71.30%	48.34%

从表中可以看出，在MNIST和FashionMNIST等图像数据集上，ResMLP和ResNet2D取得了较高的零样本准确率（如MNIST上ResMLP达93.96%），而MobileNet2D在MNIST上仅为74.53%，说明复杂架构的零样本迁移仍有挑战。在一维波形数据集上，CNN1D表现接近完美（99.84%），Transformer为89.38%。文本数据集20Newsgroups上，CNN1D和Transformer的零样本准确率分别为71.30%和48.34%，表明文本模态的难度更大。

有意思的是，该GHN在训练时并未见过这些架构，因此这些结果是真正的零样本评估。开发者提到，这些权重可作为训练起点，减少收敛所需的迭代次数。

零样本（Zero-shot） 在超网络语境下指超网络在训练阶段从未见过目标架构（或数据集）的情况下，直接为其生成权重，而不经过任何微调或梯度更新。这与传统迁移学习中的零样本学习类似，但对象是网络权重而非类别标签。GHN 的零样本能力依赖于训练时见过的多种计算图结构，使其学习到从图结构到权重的通用映射。评估零样本性能时，通常将生成的权重直接用于目标架构进行测试，不进行任何训练。因此，零样本准确率反映了超网络对架构和任务的泛化程度。

跨架构与跨模态的泛化能力

该工作的亮点在于单一模型同时处理多种架构家族（ResNet、MLP-Mixer、MobileNet、Transformer）和多种模态（视觉、文本、波形）。传统超网络往往针对特定架构或任务设计，而GHN通过计算图表示实现了架构无关性。

不过，不同架构和模态上的性能差异也揭示了泛化的不均衡。例如，在图像任务上，简单MLP类架构（ResMLP、MLP）表现较好，而MobileNet2D这类带深度可分离卷积的架构零样本准确率较低。在文本任务上，Transformer的零样本准确率不及CNN1D，可能与训练数据分布有关。

数据集嵌入（Dataset Embedding） 是超网络输入的一部分，用于编码目标数据集的特性（如类别数、图像分辨率、模态等），使超网络能够根据数据集调整生成的权重。在 GHN 中，数据集嵌入通常是一个可学习的向量，在训练时针对每个数据集进行优化。推理时，对于新数据集，需要提供一个合适的嵌入，这限制了超网络对未见数据集的泛化。开发者计划使用编码器对随机数据集进行编码以替换数据集嵌入，旨在让超网络能够处理任意数据集，而无需为每个数据集单独学习嵌入。

开发者的下一步计划

开发者表示，接下来的目标是使用编码器对随机数据集进行编码，以替换数据集嵌入，从而处理更多未见数据集。此外，他希望扩大模型规模，但目前受限于计算资源（仅使用Kaggle免费资源）。

该项目已开源，开发者将在评论区分享Kaggle链接。对于资源有限的研究者，这提供了一个可复现的起点。

局限与展望

尽管零样本结果令人印象深刻，但GHN目前仅在较小数据集上验证，且部分架构的准确率较低。未来若能在更大规模数据集和更多架构上训练，其泛化能力有望进一步提升。此外，如何将GHN应用于更复杂的任务（如目标检测、分割）仍是未解之谜。

总体而言，这项开源工作展示了图超网络在跨架构权重生成方面的潜力，为自动化机器学习和小样本场景提供了新思路。

注：本文基于Reddit原帖内容，未添加原帖未提及的数据。