InstantFusion：打通异构图像生成模型的共享潜空间接口

当生成模型越来越多，如何让它们互相协作？

扩散模型与流匹配（flow）模型已经成为图像生成领域的事实标准，并催生出一大批架构各异、表示方式迥异的生成器。从早期的 UNet 结构到如今流行的 DiT（Diffusion Transformer），不同模型在潜空间组织、去噪动态上存在显著差异。这种异构性带来了一个长期被忽视的问题：不同模型之间的潜表示能否对齐？它们各自的去噪轨迹是否存在内在一致性？

InstantFusion 这项研究正是从这一问题切入。研究者发现了一个颇具启发性的现象——即便是独立训练、彼此毫无关联的生成器，也会展现出相似的潜空间组织结构；更进一步，直接把一个模型的中间去噪状态「交接」给另一个未经对齐的模型，竟然仍能保留图像的粗略视觉内容。这一跨模型兼容性，为模型间协作提供了理论基础。

扩散模型与流匹配模型的架构差异是理解跨模型协作难点的关键背景。扩散模型（Diffusion Model）通过逐步向图像添加高斯噪声，再学习逆向去噪过程来生成图像；流匹配模型（Flow Matching）则通过学习从噪声分布到数据分布的连续概率流（ODE轨迹）来生成，通常训练更稳定、推理步数更少。在架构上，早期扩散模型多采用 UNet（卷积编解码器结构），而 DiT（Diffusion Transformer）则以 Transformer 块替代卷积层，在高分辨率生成上表现更优。两类模型不仅骨干网络不同，其潜空间（latent space）的维度、编码约定和噪声调度（noise schedule）也往往存在差异，这正是让它们的中间去噪状态直接「互通」在直觉上看似不可能、却被 InstantFusion 发现实际存在隐式兼容性的根本原因。

InstantFusion 的核心设计

基于上述观察，研究团队提出了 InstantFusion——一个轻量级的共享潜空间接口，用于连接异构图像生成器的去噪轨迹。它的目标不是替代任何现有模型，而是像一个「翻译中枢」，让不同模型可以在生成过程中无缝接力。

模型专属的潜自编码器（LAE）

实现跨模型状态转换的关键，是为每个生成器引入模型专属的潜自编码器（Latent AutoEncoder, LAE）。这些 LAE 负责两件事：一是把来自不同生成器的中间状态投影到一个共享潜空间；二是把共享空间中的状态解码回目标生成器所需的潜空间格式。

这种设计的巧妙之处在于，它避免了传统做法中「每一对模型都要训练一个专用映射」的组合爆炸问题。只要每个模型都接入了共享潜空间，任意两个模型之间就能自由互通，大幅降低了扩展成本。

传统跨模型知识迁移通常依赖知识蒸馏（Knowledge Distillation）或模型对齐方法，但这些方法面临"组合爆炸"问题：若有 N 个模型，两两之间需要训练 N×(N-1) 个专用映射网络，扩展性极差。LAE 的设计借鉴了「中间表示瓶颈」思路——类似于自然语言处理中多语言翻译使用中间语言（pivot language）作为枢纽：每个模型只需与共享空间对接，总映射数量降至 2N。自编码器本身通常是轻量级网络（如小型 MLP 或浅层 Transformer），不需要从头训练生成器，训练开销远低于完整模型微调。这种「星形拓扑」的接口设计，使得新增一个生成器时只需训练其对应的 LAE，而无需触动已有模型或重新训练其他 LAE。

两个互补的约束目标

共享潜空间并非凭空构建，而是通过两个互补的训练目标来约束：

• 状态对齐：让源自同一张图像、处于相同噪声水平的中间状态在共享空间中对齐；
• 速度同步：同步它们对应的局部去噪速度（denoising velocity）。

前者保证了「同一内容在不同模型眼中位置一致」，后者则保证了「去噪动态的连贯性」。两者结合，才能让去噪过程在不同模型之间切换时不发生内容崩塌或轨迹断裂。

**去噪速度（Denoising Velocity）**是流匹配框架中的核心概念，指的是在去噪 ODE 轨迹上某一时间步处，潜变量随时间变化的方向向量（即速度场 $v_\theta(x_t, t)$）。在扩散模型中，对应的概念是预测的噪声（predicted noise）或分数函数（score function）。同步去噪速度的意义在于：仅对齐某一时刻的中间状态（位置对齐），并不足以保证接力后的去噪轨迹方向一致——两个模型可能在相同位置却朝不同方向去噪，导致接力后生成内容偏离。速度同步约束相当于同时对齐了轨迹的「位置」与「切线方向」，使得模型切换后的去噪过程能沿近似一致的流形演化，避免内容突变或质量崩塌。

冻结模型即插即用

InstantFusion 的一个重要工程优势是：训练完成后无需改动任何原始生成器的权重。所有参与协作的模型都保持冻结（frozen）状态，去噪过程可以在它们之间自由过渡，而不需要为每一对模型单独设计映射关系。

这意味着实际部署时，开发者可以把已有的、各自训练好的生成模型直接「挂载」到这个共享接口上，无需重新训练或微调主干网络。对于资源受限的场景，这种解耦式的设计显著降低了接入门槛。

四类应用场景验证

论文通过四个差异化的任务，展示了 InstantFusion 的通用性：

加速（Acceleration）

利用不同模型在去噪轨迹不同阶段的优势，通过模型间接力实现生成加速，在速度与质量之间取得更好的平衡。

多偏好组合（Multi-preference Composition）

不同模型往往针对不同的审美偏好或数据分布训练。通过共享接口，可以在一次生成中融合多个模型的偏好特性，产出兼具多方风格的结果。

跨架构在线策略蒸馏（Cross-architecture On-policy Distillation）

突破同构蒸馏的限制，让知识可以在不同架构的模型之间迁移，这对于把大模型能力压缩到轻量模型上具有现实意义。

**在线策略蒸馏（On-policy Distillation）**与离线蒸馏的核心区别在于训练数据来源：离线蒸馏使用教师模型预先生成的静态数据集，而在线策略蒸馏在训练中实时用当前学生模型生成样本，并以教师模型的反馈作为监督信号，从而避免了分布偏移（distribution shift）问题。传统在线蒸馏要求教师与学生共享相同的潜空间或至少相同的架构（如同为 DiT），而 InstantFusion 的共享接口使跨架构在线蒸馏成为可能：教师模型（如大型 DiT）与学生模型（如轻量 UNet）可以在共享潜空间中交换中间状态，让教师的去噪轨迹直接指导学生的学习，从而将大模型的生成能力压缩到不同架构的小模型中，兼顾部署效率与生成质量。

跨模型组合（Cross-model Composition）

将多个异构生成器组合成一个协同系统，发挥各自所长。研究表明，InstantFusion 在上述所有场景中都取得了具有竞争力的表现。

意义与展望

InstantFusion 的价值不只在于一个具体方法，更在于它揭示并利用了异构生成模型之间潜在的表示一致性。随着图像生成模型生态日益碎片化——每个团队、每个产品都有自己的模型——一种能够让这些模型互联互通的「通用接口」显得愈发重要。

从长远看，这类共享潜空间的思路可能延伸到视频、音频乃至多模态生成领域，为构建可组合、可协作的生成式 AI 基础设施提供新的范式。当然，论文中展示的仍是研究阶段的成果，其在大规模模型、复杂提示下的鲁棒性还有待后续工作进一步验证。