[控场AI]
产品AI Tensor Engine for ROCm

AITER

AMD面向ROCm平台推出的算子调优组件,针对特定GPU架构预编译或自动搜索高性能kernel配置,以提升矩阵运算等算子的吞吐性能。

时间轴 (近 90 天)

10月30日

vLLM v0.33.0rc2中包含一条来自AMD工程师Micah Williamson的bugfix提交(#64567),针对gfx950架构上M*N>=2^31时跳过AITER调优的GEMM路径。

待验证50%
10月30日

AITER是AMD面向ROCm平台推出的算子调优组件,针对特定硬件架构预编译或自动搜索高性能kernel配置。

待验证50%
10月30日

补丁在gfx950上检测M*N是否达到2^31阈值,若达到则绕过AITER调优的GEMM实现,回退到通用路径。

待验证50%
10月30日

跳过调优GEMM意味着超大矩阵会走默认实现,性能可能不及专门调优的kernel,但正确性优先于峰值性能。

待验证50%
10月30日

将2^31判断与gfx950架构绑定,说明该问题可能与该架构的特定指令或AITER针对它生成的kernel实现有关,而非所有ROCm设备普遍存在。

待验证50%

全部知识事实 (5)

来源文章