AMD ROCm
AMD针对GPU通用计算推出的开源软件平台,提供完整的运行时、编译器和数学库,使深度学习框架能够调度AMD GPU执行张量运算,是NVIDIA CUDA的AMD替代方案
核心事实
时间轴 (近 90 天)
Linux 和 Windows 平台本地推理通常依赖 NVIDIA CUDA、AMD ROCm 或纯 CPU,硬件组合更复杂,适配工作量和性能表现差异都更大。
Ollama 当前版本为 v0.40.3,官方镜像支持 NVIDIA CUDA、AMD ROCm 以及内置的 Vulkan 运行时。
Lucebox 支持硬件后端混搭,NVIDIA RTX、AMD ROCm、Apple Silicon 和纯 CPU 可以出现在同一套推理链路中。
新增了带有 Unsloth Studio 和 JupyterLab 的 AMD ROCm Docker 镜像
NVIDIA GPU因CUDA生态成熟而在本地部署硬件中占据主导地位,AMD ROCm、Apple Silicon及纯CPU方案也在持续完善
vLLM支持NVIDIA GPU、AMD ROCm以及部分TPU硬件后端
新版本新增了面向 Linux 主机的 AMD ROCm 镜像,与 CUDA 镜像并行提供
vLLM支持AMD ROCm平台,并在持续完善该支持
Neural Engine是Blackmagic Design自研的AI推理框架,可在NVIDIA CUDA、AMD ROCm以及Apple Silicon的Neural Engine硬件单元上运行
统一的分发层可屏蔽 NVIDIA GPU、AMD ROCm、Intel GPU、Google TPU、Graphcore IPU 等不同硬件的编程模型差异
还有 1 条时间轴事件
全部知识事实 (13)
ROCm是AMD面向高性能计算和AI工作负载的开源软件平台,包含HIP编程接口,允许CUDA代码以较低成本移植到AMD GPU
90%已验证Ollama支持CPU的AVX2/AVX512指令集加速,以及NVIDIA CUDA、Apple Metal、AMD ROCm等多种GPU后端
80%待验证vLLM支持AMD ROCm平台,并在持续完善该支持
70%待验证Linux 和 Windows 平台本地推理通常依赖 NVIDIA CUDA、AMD ROCm 或纯 CPU,硬件组合更复杂,适配工作量和性能表现差异都更大。
50%待验证Ollama 当前版本为 v0.40.3,官方镜像支持 NVIDIA CUDA、AMD ROCm 以及内置的 Vulkan 运行时。
50%待验证Lucebox 支持硬件后端混搭,NVIDIA RTX、AMD ROCm、Apple Silicon 和纯 CPU 可以出现在同一套推理链路中。
50%待验证NVIDIA GPU因CUDA生态成熟而在本地部署硬件中占据主导地位,AMD ROCm、Apple Silicon及纯CPU方案也在持续完善
50%待验证vLLM支持NVIDIA GPU、AMD ROCm以及部分TPU硬件后端
50%待验证Neural Engine是Blackmagic Design自研的AI推理框架,可在NVIDIA CUDA、AMD ROCm以及Apple Silicon的Neural Engine硬件单元上运行
50%待验证统一的分发层可屏蔽 NVIDIA GPU、AMD ROCm、Intel GPU、Google TPU、Graphcore IPU 等不同硬件的编程模型差异
50%待验证TorchInductor是基于OpenAI Triton的代码生成后端,Triton的后端正在扩展到AMD ROCm和Intel GPU
50%待验证新增了带有 Unsloth Studio 和 JupyterLab 的 AMD ROCm Docker 镜像
70%待验证新版本新增了面向 Linux 主机的 AMD ROCm 镜像,与 CUDA 镜像并行提供
50%