llama.cpp
llama.cpp是由Georgi Gerganov发起的开源大语言模型推理框架，使用纯C/C++实现，无需依赖外部深度学习库。该项目支持在CPU、GPU及Apple Silicon等多种硬件上运行大型语言模型，提供多种模型量化方案以降低内存占用和计算需求，并兼容多种主流开源模型格式，广泛应用于本地化大模型部署场景。
核心事实
时间轴 (近 90 天)
KLD对分布形状的变化比困惑度更敏感，因此成为量化社区（如llama.cpp的量化讨论）中判断量化是否伤质量的常用基准。
llama.cpp、MLX 等本地推理框架优先针对苹果芯片优化，根本原因是统一内存架构降低了数据搬运的延迟与带宽瓶颈。
Betelgeuse是llama.cpp的一个分支（bel-cli / bel-server），作者同时也在向上游提交PR。
在标准llama.cpp中加载68GB MoE到12GB VRAM+16GB RAM，每token约产生1500次主要页面错误，生成速度只有1.47 tok/s。
在约190GB总大小的Q8_K_XL量化上，bel-server在RTX 3060 12GB+16GB DDR4机器上冷启动8 tok/s、热启动12 tok/s（峰值21 tok/s），而stock llama.cpp会立即OOM或爬行在<0.1 tok/s。
GSQ-RCO-IQ2_XS、Q8_K_XL等命名属于llama.cpp的GGUF量化格式，数字越小表示权重压缩越激进（IQ2约为2比特级）。
llama.cpp和Ollama等开源工具让开发者可以在个人电脑上运行量化后的模型，但对内存的精细管理要求很高，模型加载失败和内存溢出是常见问题。
部署开放权重模型时需配套考虑推理框架（如vLLM、llama.cpp、TensorRT-LLM）、显存与吞吐的权衡、以及偏见与安全过滤机制。
在 8GB VRAM 的 RTX 3060 Ti 上同时发出 100 个请求，llama.cpp 耗时 9.2 秒，vLLM 仅 1.6 秒，TensorRT-LLM 约 3.6 到 3.8 秒，Ollama 即使开启 num_parallel=16 依然很慢，Hugging Face Transformers 的并行表现“完全不行”。
llama.cpp 按需分配 VRAM，vLLM 则通过 --gpu-memory-utilization 参数预分配指定比例的显存（包含 KV cache 和模型本身）。
还有 40 条时间轴事件
全部知识事实 (20)
llama.cpp 由 Georgi Gerganov 以纯 C/C++ 实现，GGUF 格式将模型架构元数据、词表和量化权重打包进单一文件
90%已验证GPTQ 利用二阶梯度信息最小化量化误差，AWQ 识别并保护对激活值影响最大的权重，GGUF 由 llama.cpp 项目引入专为 CPU 推理优化
90%已验证GGUF 格式由 llama.cpp 项目引入，专为 CPU 推理场景优化
90%已验证GGUF 将模型权重、分词器词表、超参数配置等全部打包进单一文件，支持 Q2_K、Q4_K_M、Q8_0 等多种量化精度
90%已验证llama.cpp是由Georgi Gerganov开发的纯C/C++推理引擎，支持在纯CPU环境下运行大模型
90%已验证GGUF格式于2023年8月由llama.cpp社区推出，作为GGML格式的替代方案
90%已验证llama.cpp由Georgi Gerganov于2023年3月发起
90%已验证GGUF格式由llama.cpp项目创始人Georgi Gerganov设计
90%已验证GGUF（GPT-Generated Unified Format）是由llama.cpp项目定义的模型文件格式
90%已验证MLX针对Apple Silicon的统一内存架构进行专项优化
85%已验证GGUF 已成为 llama.cpp、Ollama、LM Studio 等主流本地推理工具的事实标准格式
85%已验证Ollama提供类似Docker的一键式模型管理体验，vLLM通过PagedAttention实现高吞吐量批量推理，LM Studio面向桌面用户提供图形化界面
80%已验证GGUF是由llama.cpp项目引入的模型格式标准，支持Q2_K至Q8_0等多种量化级别
80%已验证社区主流量化格式包括GGUF、AWQ和GPTQ，其中GGUF由llama.cpp项目推广并支持CPU推理
80%已验证llama.cpp支持CPU与GPU的混合推理（层卸载），可将模型部分层加载到GPU显存、其余层保留在内存
80%已验证llama-server 是 llama.cpp 提供的本地 HTTP 推理服务，实现了与 OpenAI Chat Completions API 高度兼容的接口规范
80%已验证llama.cpp项目将GGUF量化格式推向主流，支持从Q2_K到Q8_0等多种精度等级
80%已验证Ollama将本地模型部署简化为一条命令行指令，并提供与OpenAI兼容的本地API接口
80%已验证llama.cpp支持Metal、CUDA、Vulkan和SYCL等GPU加速后端
80%已验证llama.cpp是由开发者Georgi Gerganov于2023年发起的开源项目，使用纯C/C++实现了LLaMA系列模型的推理
80%