[控场AI]
产品

GGML

由Georgi Gerganov自研的张量运算库,专为CPU推理优化,采用纯C实现,零依赖、跨平台、低内存占用,是llama.cpp的底层技术基础

核心事实

时间轴 (近 90 天)

10月22日

GGUF 取代了早期的 GGML/GGMLv3 等旧模型文件格式。

待验证50%
10月20日

Ollama v0.40.7-rc1 的核心改动是提交 'mlx: deduplicate CUDA runtime payloads',将 GGML 与 MLX 后端共享的 CUDA 库移动到同级 CUDA payload 目录,以消除重复打包。

待验证50%
10月20日

Ollama 在 macOS 上引入 MLX 后端作为可选或默认路径,因此同一个发行包需要同时容纳 GGML 和 MLX 两套后端。

待验证50%
10月20日

GGML 是 ggml/llama.cpp 生态的底层张量计算库,以 C/C++ 实现,跨平台,支持 CPU 与多种 GPU 加速(CUDA、Metal、Vulkan 等),是 Ollama 在多数平台上运行模型的默认路径。

待验证50%
10月17日

Ollama使用预编译的GGML内核,这些内核面向通用x86/ARM配置,不区分具体芯片的SIMD宽度、缓存层级和内存带宽特征。

待验证50%
9月20日

GGUF 已逐渐取代旧版 GGML 格式,成为 ComfyUI、LM Studio、Jan 等本地推理工具的通用标准

待验证50%
9月3日

llama.cpp 通过自研的 GGML 张量库(后演进为 GGUF 格式)实现底层性能优化,核心创新在于多级权重量化技术

待验证50%
8月31日

GGUF由llama.cpp项目创始人Georgi Gerganov设计,于2023年取代了此前的GGML格式

待验证50%
8月26日

whisper.cpp是基于GGML张量库的C/C++实现,支持纯CPU推理,在Apple M系列芯片上可实现实时转录

待验证60%

全部知识事实 (20)

已验证

GGUF格式于2023年8月由llama.cpp社区推出,作为GGML格式的替代方案

90%
已验证

GGUF格式由llama.cpp项目创始人Georgi Gerganov设计

90%
已验证

GGUF(GPT-Generated Unified Format)是由llama.cpp项目定义的模型文件格式

90%
已验证

GGUF 将模型权重、量化参数、词表、超参数打包进单一文件,并支持内存映射(mmap)加载

80%
已验证

llama.cpp是由开发者Georgi Gerganov于2023年发起的开源项目,使用纯C/C++实现了LLaMA系列模型的推理

80%
已验证

GGUF格式的4-bit量化可将模型权重从32位浮点压缩到4位整数,模型体积缩小约8倍

80%
已验证

GGUF 格式由 llama.cpp 创始人 Georgi Gerganov 于2023年推出,已成为开源模型本地化部署的事实标准

70%
已验证

GGUF 格式由 llama.cpp 引入,前身为 GGML,支持混合精度量化

70%
已验证

GGUF 支持从 Q2_K(2-bit)到 Q8_0(8-bit)的多档位量化选择,Q4_K_M 采用分组量化技术成为社区推荐的默认量化配置

65%
待验证

whisper.cpp是基于GGML张量库的C/C++实现,支持纯CPU推理,在Apple M系列芯片上可实现实时转录

60%
待验证

GGML是Georgi Gerganov开发的C语言张量运算库,是llama.cpp的核心计算后端

60%
待验证

GGUF 取代了早期的 GGML/GGMLv3 等旧模型文件格式。

50%
待验证

Ollama 在 macOS 上引入 MLX 后端作为可选或默认路径,因此同一个发行包需要同时容纳 GGML 和 MLX 两套后端。

50%
待验证

Ollama v0.40.7-rc1 的核心改动是提交 'mlx: deduplicate CUDA runtime payloads',将 GGML 与 MLX 后端共享的 CUDA 库移动到同级 CUDA payload 目录,以消除重复打包。

50%
待验证

GGML 是 ggml/llama.cpp 生态的底层张量计算库,以 C/C++ 实现,跨平台,支持 CPU 与多种 GPU 加速(CUDA、Metal、Vulkan 等),是 Ollama 在多数平台上运行模型的默认路径。

50%
待验证

Ollama使用预编译的GGML内核,这些内核面向通用x86/ARM配置,不区分具体芯片的SIMD宽度、缓存层级和内存带宽特征。

50%
待验证

GGUF 已逐渐取代旧版 GGML 格式,成为 ComfyUI、LM Studio、Jan 等本地推理工具的通用标准

50%
待验证

llama.cpp 通过自研的 GGML 张量库(后演进为 GGUF 格式)实现底层性能优化,核心创新在于多级权重量化技术

50%
待验证

GGUF由llama.cpp项目创始人Georgi Gerganov设计,于2023年取代了此前的GGML格式

50%
待验证

GGML是Gerganov自研的张量运算库,专为CPU推理优化,采用纯C实现,可在ARM、x86等架构上运行

50%

来源文章