Inductor
PyTorch 2.0编译栈的后端组件,负责将计算图降低为高效的Triton GPU内核或CPU的C++代码,是torch.compile实现性能加速的最终执行层
时间轴 (近 90 天)
torch-spyre编译栈的Inductor组件负责决定每个内核在Spyre芯片各核心间的任务划分,并管理张量在片上暂存器与片外内存之间的驻留策略。
torch-spyre的编译栈设计借鉴了Inductor对接其他加速器的经验,但针对Spyre的显式内存层次做了专门处理。
torch-spyre通过实现Inductor的可插拔后端接口,把Inductor的调度能力复用到Spyre上,从而让PyTorch模型无需手写内核即可落到该芯片执行。
Inductor是PyTorch 2.x中torch.compile的默认编译后端,负责把FX图切分为内核、生成Triton或C++代码,并为不同加速器提供可插拔的后端接口。
IBM 在 Spyre 的适配中,在 Inductor 之上做了 Spyre 专属的调度和内存层级适配,只需将 Inductor 输出的中间表示映射到 Spyre 指令集。
IBM Spyre AI 加速器将其 torch.compile 后端从自研的 sendnn 编译栈切换为开源社区维护的 Inductor。
Intel、AMD 等厂商也采用接入 Inductor 扩展机制、通过自定义后端接口做硬件专属优化的策略,而非维护平行的编译管线。
Inductor 在生成内核时,默认将计算图翻译成 Triton 代码,当目标硬件不支持 Triton 或不适合时回退到 C++/OpenMP 路径。
Inductor 正在成为 AI 芯片生态事实上的中间层,将芯片与框架的适配复杂度从 O(M×N) 降低到接近 O(M+N)。
随着 Microsoft、Intel、AMD 及 IBM 的持续投入,Inductor 在非 NVIDIA 硬件上的通用代码生成质量已能覆盖相当一部分训练和推理负载。
还有 7 条时间轴事件
全部知识事实 (16)
torch-spyre编译栈的Inductor组件负责决定每个内核在Spyre芯片各核心间的任务划分,并管理张量在片上暂存器与片外内存之间的驻留策略。
50%待验证torch-spyre的编译栈设计借鉴了Inductor对接其他加速器的经验,但针对Spyre的显式内存层次做了专门处理。
50%待验证torch-spyre通过实现Inductor的可插拔后端接口,把Inductor的调度能力复用到Spyre上,从而让PyTorch模型无需手写内核即可落到该芯片执行。
50%待验证Inductor是PyTorch 2.x中torch.compile的默认编译后端,负责把FX图切分为内核、生成Triton或C++代码,并为不同加速器提供可插拔的后端接口。
50%待验证IBM 在 Spyre 的适配中,在 Inductor 之上做了 Spyre 专属的调度和内存层级适配,只需将 Inductor 输出的中间表示映射到 Spyre 指令集。
50%待验证IBM Spyre AI 加速器将其 torch.compile 后端从自研的 sendnn 编译栈切换为开源社区维护的 Inductor。
50%待验证Intel、AMD 等厂商也采用接入 Inductor 扩展机制、通过自定义后端接口做硬件专属优化的策略,而非维护平行的编译管线。
50%待验证Inductor 在生成内核时,默认将计算图翻译成 Triton 代码,当目标硬件不支持 Triton 或不适合时回退到 C++/OpenMP 路径。
50%待验证Inductor 正在成为 AI 芯片生态事实上的中间层,将芯片与框架的适配复杂度从 O(M×N) 降低到接近 O(M+N)。
50%待验证Inductor 作为通用后端,在延迟极度敏感或算子高度定制的工作负载中,其通用 pass 可能不如专用编译器,IBM 需保留针对 Spyre 关键算子的手写优化通道。
50%待验证Inductor 迭代速度快,接口和内部 IR 时有变动,硬件厂商的适配层需要持续跟进,这构成一种维护成本。
50%待验证TorchInductor是PyTorch默认后端编译器,能将计算图降低为Triton GPU内核或C++/OpenMP CPU代码
50%待验证PyTorch 2.14 中,NVGEMM 将由 CuTeDSL 生成的 CUTLASS 内核带入了 Inductor 编译后端
50%待验证Inductor 是 PyTorch 2.x 的默认编译后端,负责将计算图降级为高效的底层代码(如 Triton 或 C++)
50%待验证Inductor后端将计算图降低为高效的Triton GPU内核或CPU的C++代码
50%待验证将 CUTLASS 内核引入 Inductor 对 Transformer、大语言模型训练与推理等 GEMM 密集型工作负载有望带来实质性能提升
50%