[控场AI]
产品加速线性代数 / Accelerated Linear Algebra

XLA

谷歌开发的加速线性代数编译器,用于将高级深度学习代码即时编译为针对特定硬件(如TPU)优化的高效机器指令

核心事实

时间轴 (近 90 天)

10月26日

JAX 要求被追踪的函数是纯函数,控制流需通过 lax.cond、lax.scan 等原语表达,才能被编译成 XLA 设备端执行图。

待验证50%
10月22日

TorchInductor、XLA 和 TVM 是使用内核融合策略的编译器或框架。

待验证50%
10月21日

过去在 TPU 上运行 PyTorch 通常需要经过 XLA 桥接层做图转换,导致算子覆盖不全、调试链路割裂、性能不符合预期等问题。

待验证50%
10月21日

TPU 侧对应的 XLA 编译器、PJRT 运行时与 JAX 生态在性能上并不逊色,但面向 PyTorch 用户的工具链厚度明显不足。

待验证50%
10月21日

TorchTPU 若走原生后端路线,本质是把 XLA 作为内部实现细节而非用户可见的编程模型。

待验证50%
10月21日

PyTorch/XLA 方案依赖 xla_device 与 lazy tensor 机制,张量操作先被记录成图,直到需要具体数值时才触发编译执行。

待验证50%
10月20日

PyTorch/XLA通过XLA编译器将PyTorch计算图转换为可在TPU上执行的二进制,采用惰性执行模式。

待验证50%
10月20日

TPU依赖XLA做静态图编译,对动态shape和细粒度控制流的支持相对受限,更擅长规则的大批量计算。

待验证50%
10月20日

TorchTPU通过torch.compile和XLA完成图编译优化,允许开发者在需要性能时切换到编译模式。

待验证50%
10月20日

XLA 是 Google 主导的开源机器学习编译器,也是 TPU 软件栈的核心,负责接收计算图并进行算子融合、内存布局优化和常量折叠等变换,最终生成 TPU 可执行代码。

待验证50%

还有 15 条时间轴事件

全部知识事实 (20)

已验证

JAX 是 Google 于 2018 年发布的数值计算库,核心特性包括基于 XLA 编译器的 JIT 加速、自动微分以及 vmap 和 pmap 原语

65%
已验证

JAX由Google开发,基于函数式编程范式,提供自动微分和XLA编译优化

65%
待验证

Google通过JAX框架和XLA编译器构建自己的软件生态,使开发者能够在TPU上运行模型

90%
待验证

XLA是Google的加速线性代数编译器,深度集成于TensorFlow和JAX

60%
待验证

JAX 要求被追踪的函数是纯函数,控制流需通过 lax.cond、lax.scan 等原语表达,才能被编译成 XLA 设备端执行图。

50%
待验证

TorchInductor、XLA 和 TVM 是使用内核融合策略的编译器或框架。

50%
待验证

TPU 侧对应的 XLA 编译器、PJRT 运行时与 JAX 生态在性能上并不逊色,但面向 PyTorch 用户的工具链厚度明显不足。

50%
待验证

过去在 TPU 上运行 PyTorch 通常需要经过 XLA 桥接层做图转换,导致算子覆盖不全、调试链路割裂、性能不符合预期等问题。

50%
待验证

PyTorch/XLA 方案依赖 xla_device 与 lazy tensor 机制,张量操作先被记录成图,直到需要具体数值时才触发编译执行。

50%
待验证

TorchTPU 若走原生后端路线,本质是把 XLA 作为内部实现细节而非用户可见的编程模型。

50%
待验证

TPU依赖XLA做静态图编译,对动态shape和细粒度控制流的支持相对受限,更擅长规则的大批量计算。

50%
待验证

PyTorch/XLA通过XLA编译器将PyTorch计算图转换为可在TPU上执行的二进制,采用惰性执行模式。

50%
待验证

TorchTPU通过torch.compile和XLA完成图编译优化,允许开发者在需要性能时切换到编译模式。

50%
待验证

XLA 是 Google 主导的开源机器学习编译器,也是 TPU 软件栈的核心,负责接收计算图并进行算子融合、内存布局优化和常量折叠等变换,最终生成 TPU 可执行代码。

50%
待验证

TPU长期仅通过谷歌云以托管服务形式对外提供,软件栈以XLA编译器和JAX/PyTorch/XLA桥接为主。

50%
待验证

GPU拥有CUDA、cuDNN、NCCL等成熟软件栈,NPU多依赖厂商私有SDK(如昇腾的CANN、TPU的XLA路径),跨平台可移植性和算子覆盖度远不如GPU。

50%
待验证

JAX 的核心设计是将 NumPy 风格的 API 与 XLA(加速线性代数)编译器结合,提供 jit、vmap、pmap 三个核心变换

50%
待验证

内核优化领域常见的参照基线包括 NVIDIA 的 cuBLAS/cuDNN、Google 的 XLA 编译器生成代码以及 Triton 手写内核

50%
待验证

Torch Neuron底层通过XLA编译器将PyTorch计算图转化为适配Trainium神经网络计算核心(NeuronCore)的指令

50%
待验证

XLA(Accelerated Linear Algebra)曾是 Google 将 TPU 接入 PyTorch 的主要路径,但其编译模型与 PyTorch 动态图风格存在阻抗,调试困难、编译开销大

50%

来源文章