已验证70% 置信事实时间未知
Ollama能够在模型超出显存容量时自动将部分模型层卸载到内存中由CPU处理（offloading技术）
4
来源数
70%
置信度
长期有效
时效性
2026/6/3
首次发现
来源
Ollama入门指南：本地部署开源大模型的最佳工具
bilibiliIT职业规划-码士集团
涉及实体
相关事实
已验证Ollama是一个开源的本地大模型运行时，底层基于llama.cpp实现，支持CPU和GPU混合推理73% 相似已验证Ollama能够自动识别并利用机器上的计算资源，GPU和CPU均可调度71% 相似待验证Ollama 底层集成了 llama.cpp 框架，通过 GGUF 量化格式压缩模型权重，使模型能在普通 CPU 或苹果 M 系列芯片上运行71% 相似待验证Ollama 底层基于 llama.cpp 的量化推理引擎，通过 4-bit/8-bit 量化技术降低显存占用67% 相似已验证GGUF专门为CPU和混合CPU/GPU推理场景优化，支持内存映射（mmap）加载，可通过部分offload到系统内存运行超出显存容量的模型67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/39829API
curl https://kongchang.com/api/v1/knowledge/claims/39829MCP
get_claim(id=39829)