共 5 篇相关文章

Maple-Preview项目实现20B参数三元量化MoE模型在iPhone上以120 tok/s速度运行。本文拆解三元量化、MoE稀疏激活、端侧推理三大核心技术,分析端侧大模型部署的价值与挑战。

深度解析Apple Silicon芯片本地LLM推理速度实测数据,涵盖M系列芯片内存带宽、模型量化精度、MLX框架优化等关键因素,为Mac本地部署大模型提供选购与配置参考。

AI创业公司Prismo宣称将270亿参数模型压缩至4GB,在iPhone 17 Pro上实现全参数本地运行,支持离线复杂对话、代码生成与自主编程代理。本文深度解析其压缩技术原理、与苹果MoE方案的差异,以及端侧AI的真实能力边界。

Reddit社区曝光苹果M7 Ultra芯片规格,最高1.5TB统一内存或支持本地运行所有主流开源大模型。本文深度解析其技术架构、定价争议、内存带宽瓶颈及苹果生态锁定问题,探讨这款芯片对本地大模型部署的实际意义。
教程攻略深入解析OpenAI Codex插件系统的核心架构(Skills、Apps、MCP Server),详解四种安装方式,并通过macOS应用开发实战案例,展示Codex插件如何提升AI编程效率。