NVIDIA CUDA
核心事实
时间轴 (近 90 天)
Linux 和 Windows 平台本地推理通常依赖 NVIDIA CUDA、AMD ROCm 或纯 CPU，硬件组合更复杂，适配工作量和性能表现差异都更大。
Ollama 当前版本为 v0.40.3，官方镜像支持 NVIDIA CUDA、AMD ROCm 以及内置的 Vulkan 运行时。
PC平台显存不足时可将模型部分卸载到系统内存（offload），速度下降但能运行；Mac统一内存不足时模型直接报错退出
Ollama 内部使用 llama.cpp 作为推理引擎，能自动检测并利用 NVIDIA CUDA、Apple Metal 等硬件加速能力
Meshroom对GPU（尤其是NVIDIA CUDA）依赖较强，处理速度受硬件限制
Neural Engine是Blackmagic Design自研的AI推理框架，可在NVIDIA CUDA、AMD ROCm以及Apple Silicon的Neural Engine硬件单元上运行
全部知识事实 (6)
Ollama支持CPU的AVX2/AVX512指令集加速，以及NVIDIA CUDA、Apple Metal、AMD ROCm等多种GPU后端
80%待验证Linux 和 Windows 平台本地推理通常依赖 NVIDIA CUDA、AMD ROCm 或纯 CPU，硬件组合更复杂，适配工作量和性能表现差异都更大。
50%待验证PC平台显存不足时可将模型部分卸载到系统内存（offload），速度下降但能运行；Mac统一内存不足时模型直接报错退出
50%待验证Ollama 内部使用 llama.cpp 作为推理引擎，能自动检测并利用 NVIDIA CUDA、Apple Metal 等硬件加速能力
50%待验证Meshroom对GPU（尤其是NVIDIA CUDA）依赖较强，处理速度受硬件限制
50%待验证Neural Engine是Blackmagic Design自研的AI推理框架，可在NVIDIA CUDA、AMD ROCm以及Apple Silicon的Neural Engine硬件单元上运行
50%