深度学习编译器架构、优化与实证评测：一份系统综述

深度学习编译器是连接复杂模型与异构硬件的关键桥梁。一篇系统综述从架构演进、编译流程、优化技术到实测表现，给出了全景式梳理。

三阶段架构：前端、中端与后端

论文将深度学习编译器统一划分为前端、中端和后端三个阶段。前端负责将PyTorch、TensorFlow等框架的模型转换为中间表示（IR）；中端承担核心优化任务，是连接高层模型语义与硬件特性的枢纽；后端则完成面向特定硬件的代码生成与调度。

这一划分的价值在于，它把编译器研究中分散的工作映射到统一坐标系下。中端被特别强调，因为图级优化、算子融合、内存规划等决定性能的关键变换大多发生于此。不同编译器在中端的抽象层次和优化策略上差异最大，也最能体现设计取舍。

中间表示（IR）是编译器各阶段之间传递信息的核心数据结构，它既需要保留足够的高层语义以便进行图级分析，又必须足够底层以映射到硬件指令。深度学习编译器常见的IR形式包括基于计算图的表示（如Torch FX Graph）、基于多级抽象 dialect 的表示（如MLIR）以及张量级DSL。IR的设计直接决定了中端能够表达和匹配哪些优化模式——例如，若IR中缺少对布局或内存层级的显式描述，融合与内存规划就只能依赖后端补救。因此，不同编译器在中端的差异，很大程度上源于其IR抽象层次的选择：抽象越高，优化规则越通用但越难贴近硬件；抽象越低，硬件适配越精细但可移植性越差。

代表性编译器与优化技术谱系

综述梳理了主流深度学习编译器的设计思路，并按照编译阶段归类近期优化技术。前端侧关注算子覆盖与动态图捕获，中端侧聚焦图重写、融合规则与布局变换，后端侧则涉及自动调优、代码生成与硬件特定指令映射。

这种按阶段组织的视角，帮助读者理解一项优化技术究竟作用在哪个环节、能解决什么问题，也便于比较不同编译器在同一环节上的策略差异。

算子融合是深度学习编译器最核心的图级优化之一，其基本思想是将多个细粒度算子合并为一个更大的计算核，从而减少内核启动开销和中间结果的显存读写。常见形式包括逐元素算子融合（如将add、mul、relu合并为一个kernel）、归约与逐元素融合（如softmax的分解融合）以及卷积与后处理融合（如conv+bn+relu）。融合的收益取决于计算图的拓扑结构：当算子链呈线性且中间张量不被其他节点复用时，融合收益最大；反之，若存在多分支或跨节点复用，融合可能受限于内存布局或需要额外的物化决策。这也解释了为何编译器加速效果与负载的图结构强相关。

实证评测：编译器收益高度依赖负载特征

论文在NVIDIA RTX A6000上使用PyTorch/TorchInductor进行了实测。结果显示，编译器带来的加速效果与工作负载特征强相关：对融合友好的计算图可获得最高8.21倍的加速，而其他负载的改善则相对有限。

这一结论提醒实践者，不能把编译器优化视为普适的性能红利。图结构是否适合融合、算子组合是否落在编译器的优化规则覆盖范围内，直接决定最终收益。

编译开销与动态形状的权衡

实测还揭示了两个容易被忽视的成本。其一，编译开销可能需要数千次执行才能摊薄，这意味着短生命周期或小批量推理场景下，编译本身可能成为负担。其二，动态形状编译可将累计的形状切换成本降低约70%，代价是稳态性能略有下降。

这组数据刻画了典型的工程权衡：动态形状支持减少了运行时的重编译和切换开销，但静态形状下的极致优化会被牺牲。是否启用，取决于负载中形状变化的频率与稳态性能的敏感度。

动态形状编译的核心挑战在于，编译器无法在编译期确定张量的具体维度，因而难以进行依赖静态尺寸的优化，如循环展开、内存预分配和基于固定tile的调度。主流方案包括：为形状变化维护多个特化编译版本（shape specialization），或在运行时进行符号化推导并生成可处理任意形状的通用kernel。前者在形状频繁切换时会产生大量重编译开销，后者则以牺牲部分稳态性能为代价换取灵活性。累计形状切换成本降低约70%的收益，正是通过减少重编译次数实现的；而稳态性能的轻微下降，则源于通用kernel无法充分利用静态尺寸带来的优化空间。

对实践的启示

综述的贡献在于把架构分析与定量证据结合起来。对编译器开发者而言，中端优化的规则覆盖和动态形状处理仍是值得投入的方向；对部署工程师而言，评估编译器收益时应结合自身负载的图结构与执行模式，而非依赖通用基准数据。编译器的价值不是恒定的，它随负载而变。