#端侧AI
共 42 篇相关文章
Formula E赛车AI副驾：手机端Gemini Nano实战
Google Cloud团队在Formula E赛车上部署端侧AI副驾：用Raspberry Pi读取CAN总线遥测，Pixel手机通过ML Kit运行Gemini Nano，结合ADK与A2A协议实现实时语音问答，并分享了Goodwood实测中的散热与蓝牙踩坑经验。
Gemma 4 与 Gemini Nano：端侧智能的架构拆解
Gemma 4 与 Gemini Nano 如何实现端侧智能？从逐层嵌入、共享 KV 缓存的草稿模型到移动定制量化，拆解 Google 在小模型上的架构创新，并对比 AI Core 与 LiteRT 两条集成路径。
Android ML Kit 端侧AI：性能优化与质量突破
Google Android ML Kit端侧AI全解析：Gemini Nano通过2位量化、共享KV缓存等优化大幅降低内存，2B模型媲美去年27B，并展示语音翻译、函数调用等API的端到端诈骗检测实战。
BiRefNet移动端NPU部署难题：高通芯片为何难跑亚秒级分割？
开发者尝试将BiRefNet部署到高通移动NPU和GPU，却因可变形卷积等复杂算子导致编译失败。本文分析移动端部署BiRefNet的难点、算子支持限制及可能的优化方向，探讨亚秒级延迟的实现路径。
Spark-X2.6-1.7B 发布：端侧智能体模型支持百万级上下文
SparkLLM 发布 Spark-X2.6-1.7B 端侧智能体模型，原生支持 1M 上下文和可控思考模式，在 SWE-Verified 和 τ²-bench 上几乎匹配 4B 版本，并获 vLLM 及 NPU 首日支持。
Liquid AI发布LFM3：六个2B级模型覆盖端侧全模态
Liquid AI 发布 LFM3 第三代模型家族，首批六个 2B 级模型共享骨干网络，覆盖文本、视觉、音频、全模态与决策模型，1.7B 文本模型 4-bit 量化后约 1 GB、支持 256K 上下文，开放权重可在单 GPU 微调。
三星用TensorFlow Lite在960x540图像上追踪你
三星被指在960x540图像上运行TensorFlow Lite模型追踪用户，引发Hacker News热议。本文分析端侧AI的隐私悖论：本地推理既减少数据外泄，又让持续视觉感知难以察觉，并梳理社区三种立场与对用户、开发者的启示。
英伟达发布Nemotron 3.5 Bolt E4B：4GB显存跑本地语音助手
英伟达开源Nemotron 3.5 Bolt E4B 4GB小语言模型，基于Gemma 4 E4B后训练，约4GB显存即可在RTX和Jetson上运行本地语音助手、游戏角色与机器人应用。
Pipit：开源Android端离线AI万能搜索，50ms内极速响应
Pipit 是一款开源 Android 端离线 AI 万能搜索引擎，支持 OCR 深度内容检索、自然语言语义搜图，覆盖照片、PDF、消息等七大领域，100% 本地运行，延迟低于 50ms，零云端上传。
移动应用AI落地指南：从业务问题出发，而非模型
移动应用AI落地指南：从业务问题出发而非模型。结合Sensor Tower、RevenueCat、Lazyweb等数据，分析AI提升试用转化却不提升留存的原因，分外卖、医疗、工时、教育、社区、银行六大行业说明AI在哪里值回成本，并给出端侧与云端AI选型建议和上线前检查清单。
端侧AI Agent如何解决"手机本该知道"的上下文传递难题
StareBrain团队详解端侧AI Agent的上下文传递架构：如何在不将数据上传云端的前提下，用本地解析层自动补全位置、时间、联系人等参数，并通过置信度分级决定自动填充、建议还是询问用户。
Train with Pasta：苹果智能驱动的口袋私教，无账户也能用
Train with Pasta 是一款由 Apple Intelligence 驱动的 iPhone 私人教练应用，支持语音生成训练计划、无账户使用、健康数据本地存储。本文解析其核心功能、适用场景与设备门槛。
麒麟9050量产：华为首款逻辑折叠芯片拆解
华为首款量产逻辑折叠芯片麒麟9050 Pro亮相，依托韬定律与5000万混合键合，在CPU、GPU、NPU性能大幅提升的同时降低功耗，并支撑手机端运行30B大模型与实时影像处理。
CoreML模型没问题，是照片太大了：端侧AI的图像管线陷阱
CoreML模型在端侧AI中表现正常，但图像管线导致检测失败：250只羊只数出14只。通过分块推理和类无关NMS合并，检测数提升至173。揭示端侧计算机视觉中图像预处理的关键陷阱。
为什么我们把语音AI装进设备，而不是云端
VoxRT团队从第一天起为端侧而非云端构建语音AI。本文用真实成本账、三类端侧胜出场景、硬件碎片化等权衡，以及2026年端侧语音技术现状，说明端侧与云端如何合理共存。
React Native端侧AI实测：Apple与ExecuTorch双引擎对比
React Native端侧AI实测：同一套AI SDK调用背后，Apple Foundation Models与ExecuTorch两套引擎的结构化输出、速度与内存对比，附七个构建踩坑与运行时模型选择策略。
Nature Buddy AI：用开源AI引导你走出屏幕拥抱自然
Nature Buddy AI 是一款开源的AI自然探索伴侣，支持浏览器端BLIP视觉模型本地推理，通过户外任务、AI识别、声景映射和游戏化激励，引导用户走出屏幕拥抱真实世界。附技术栈与开源理念解析。
浏览器端运行Gemma：Go Outside用本地AI让你放下手机
Go Outside 是一款浏览器端运行 Gemma 的开源网页应用，通过 WebLLM 和 WebGPU 本地生成户外任务，离线可用、零成本、隐私无忧。本文解析其端侧 AI 技术实现与开放权重的价值。
