端侧AI
在终端设备(如手机、PC)本地运行AI模型进行推理的技术范式,无需依赖云端服务器,具有低延迟和隐私保护优势
核心事实
时间轴 (近 90 天)
端侧AI的局限在于本地算力与功耗预算有限,难以承载超大参数模型,通常需要与云端模型分工。
72%的开发者将隐私列入使用端侧AI的前三大原因,40%将其列为第一大原因。
一项开发者调查显示,62%的开发者将离线可用性列为使用端侧AI的前三大原因。
据Google测试,许多场景下端侧AI比云端运行快2倍。
端侧推理解决了数据传输问题,但未解决能力被用于更广用途而用户无法审计的问题。
移动芯片NPU算力逐年上升,模型量化与蒸馏技术使视觉模型越做越小,端侧AI的隐私矛盾将加剧。
GM的智能座舱AI功能将基于端侧AI处理,以保护用户隐私并降低延迟。
PC端代理方向与行业对“端侧AI”的探索一致,但PC的算力限制和模型体积之间的平衡仍是难点。
端侧AI指在用户本地设备上直接运行AI模型,而非依赖云端服务器,其驱动力主要来自隐私合规、成本和可用性三方面。
价格仍是RTX Spark笔记本普及的最大障碍,本地AI短期内仍属于小众需求,其市场前景取决于后续是否有更多中端配置和轻量模型出现。
还有 37 条时间轴事件
全部知识事实 (20)
选择苹果硬件跑AI会被绑定在苹果生态内,需承担软件适配和工具链完整性不足的代价
90%已验证本地AI(端侧AI)将AI模型推理直接运行在终端设备上,具有隐私保护、低延迟、离线可用和降低成本等优势
90%已验证端侧处理是指AI模型直接在用户设备上运行推理和计算,而不将原始数据上传至云端。
75%已验证设备端AI指AI模型运行在用户本地设备上,而非将数据上传到云端服务器处理
75%已验证本地AI的核心吸引力在于隐私、低延迟和离线可用性
70%已验证更多AI处理在设备本地完成有助于更好的隐私保护,因为数据无需上传至服务器
70%已验证端侧AI使数据不出本地,既保护用户隐私,又降低云端推理的延迟和成本
70%已验证端侧AI指在用户本地设备上直接运行AI模型,而非依赖云端服务器,其驱动力主要来自隐私合规、成本和可用性三方面。
65%已验证端侧 AI 将推理任务下沉到设备本地,在保护用户隐私的同时提供接近实时的响应速度
65%已验证端侧AI对于复杂推理、长文档理解、高质量图像生成等任务仍需通过端云协同的混合架构调用云端的Pro或Ultra级别模型
65%已验证端侧AI指将机器学习模型的推理过程直接在终端设备上完成,而非上传至云端服务器处理,需通过模型压缩和硬件加速弥补算力差距
65%已验证边缘AI(Edge AI)是将人工智能计算从云端迁移到本地设备(手机、传感器、嵌入式系统)上运行的技术范式
65%待验证端侧AI的局限在于本地算力与功耗预算有限,难以承载超大参数模型,通常需要与云端模型分工。
50%待验证一项开发者调查显示,62%的开发者将离线可用性列为使用端侧AI的前三大原因。
50%待验证据Google测试,许多场景下端侧AI比云端运行快2倍。
50%待验证72%的开发者将隐私列入使用端侧AI的前三大原因,40%将其列为第一大原因。
50%待验证端侧推理解决了数据传输问题,但未解决能力被用于更广用途而用户无法审计的问题。
50%待验证GM的智能座舱AI功能将基于端侧AI处理,以保护用户隐私并降低延迟。
50%待验证PC端代理方向与行业对“端侧AI”的探索一致,但PC的算力限制和模型体积之间的平衡仍是难点。
50%待验证对端侧AI,模型往往是系统中最不灵活的部分,围绕它的图像管线才是廉价优化隐藏的地方。
50%