已过期60% 置信基准精确时间
llama.cpp的GGUF格式4-bit量化版本使Llama 3.1 70B模型可在配备64GB统一内存的Apple M2 Ultra上运行，推理速度约20-30 tokens/秒
2
来源数
60%
置信度
中期 (~90 天)
时效性
2026/7/16
首次发现
此条事实已过期，仅作历史留存，不再代表当前状态
有效期至：2026/10/14(已过期)
来源
相关事实
待验证Apple M2/M3 芯片采用统一内存架构（UMA），llama.cpp 通过 Metal API 可达到约 30-50 tokens/秒的 7B 模型推理速度80% 相似待验证llama.cpp项目针对Apple Silicon做了优化，使得在24GB统一内存的Mac上流畅运行7B甚至13B的量化模型成为现实78% 相似已验证配备192GB统一内存的Mac Studio M4 Ultra理论上可以运行完整的70B甚至更大参数的模型77% 相似待验证在Apple M4（16GB内存）上通过ChromaDB运行all-MiniLM-L6-v2，161.6秒嵌入50,000篇文档（每秒309篇），无需独立GPU76% 相似已验证在M5 Ultra的1.2TB/s带宽下，100GB量化模型理论速度约12 token/s，200GB约6 token/s，300GB约4 token/s76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/529150API
curl https://kongchang.com/api/v1/knowledge/claims/529150MCP
get_claim(id=529150)