#端侧AI应用

共 7 篇相关文章

NobodyWho是基于llama.cpp的开源端侧推理引擎，支持Swift、Kotlin、Flutter、React Native、Python和Godot多平台接入，提供工具调用、多模态、语音及GPU加速能力，让大语言模型完全在本地设备运行，无需API密钥。

Skim Recap 是一款基于本地AI的Chrome扩展阅读工具，通过WebGPU和Gemma模型在浏览器端运行，自动识别你略读跳过的段落并补回关键内容，还能结合上下文用费曼式方法解释生词术语，全程数据不出本地，保护阅读隐私。

深度解析Papaya这款在设备端运行的私密AI应用，探讨其端侧推理技术架构、隐私设计理念、数据不离开手机的实现方式，以及敏感场景下AI产品面临的伦理挑战与行业趋势。

Maple-Preview项目实现20B参数三元量化MoE模型在iPhone上以120 tok/s速度运行。本文拆解三元量化、MoE稀疏激活、端侧推理三大核心技术，分析端侧大模型部署的价值与挑战。

面对美国芯片封锁与闭源垄断，中国AI开源模型凭何持续反击？本文深度拆解开源定价权博弈、光互联卡位、端侧场景三大核心路径，解析国产大模型韧性背后的真实逻辑。

Perplexity与Intel达成合作，将本地AI模型和混合推理能力带到Intel Core Ultra Series 3笔记本电脑上。本文解析混合推理架构的优势、Intel NPU算力支撑，以及AI从云端走向终端的行业趋势。

Google Chrome混合推理（Hybrid Inference）功能正式进入GA阶段，新增initializeDeviceModel()显式初始化方法。本文详解混合推理技术架构、API变更要点及对开发者的影响。