端侧推理
将机器学习模型的推理计算直接在终端设备（如手机、平板）上执行的技术范式，无需将数据上传至云端，具有低延迟、保护隐私、离线可用等特点
核心事实
时间轴 (近 90 天)
端侧推理在绝对性能上仍无法与云端大规模集群相比，更适合对隐私、成本敏感且负载可控的场景。
端侧推理使模型在本地设备运行，数据不出设备，但受限于设备算力，能力通常弱于云端大模型。
本地推理的代价是模型规模受限于用户硬件，性能表现取决于设备。
推理跑在用户设备上，网站方不必为每次调用支付云端推理费用，也不会受制于第三方API的配额和限流。
端侧推理通常只能跑参数量较小的模型（数亿到数十亿参数级别），并且首token延迟、吞吐量与设备强相关。
端侧推理相比云端大模型省掉了上传延迟，使"零数据外泄"成为可能，但需要在模型规模、推理速度和识别精度之间重新平衡。
端侧推理与云端推理的核心差异在于约束条件改变：端侧受限于功耗预算、热设计、内存带宽和散热条件，模型通常需量化和稀疏化，推理延迟要稳定可预测。
多模态推理在手机上的发热和耗电表现会直接影响其能否常驻在应用里。
端侧推理最常出现的问题是内存，上下文长度会悄悄撑大KV缓存直至与权重相撞
应用均值而非中位数来估算端侧吞吐量，因为中位数会过滤掉慢但真实存在的用例，使容量估算过于乐观
还有 13 条时间轴事件
全部知识事实 (20)
当前主流移动设备通常拥有6-16GB内存（可供模型使用约3-8GB），端侧可流畅运行的模型大小通常在1B到8B参数之间，4位量化后约需2-5GB内存
65%已验证本地部署模型将AI模型权重下载到用户硬件运行，推理过程在本地完成，数据无需经过外部服务器
65%待验证端侧推理在绝对性能上仍无法与云端大规模集群相比，更适合对隐私、成本敏感且负载可控的场景。
50%待验证端侧推理使模型在本地设备运行，数据不出设备，但受限于设备算力，能力通常弱于云端大模型。
50%待验证本地推理的代价是模型规模受限于用户硬件，性能表现取决于设备。
50%待验证推理跑在用户设备上，网站方不必为每次调用支付云端推理费用，也不会受制于第三方API的配额和限流。
50%待验证端侧推理通常只能跑参数量较小的模型（数亿到数十亿参数级别），并且首token延迟、吞吐量与设备强相关。
50%待验证端侧推理相比云端大模型省掉了上传延迟，使"零数据外泄"成为可能，但需要在模型规模、推理速度和识别精度之间重新平衡。
50%待验证端侧推理与云端推理的核心差异在于约束条件改变：端侧受限于功耗预算、热设计、内存带宽和散热条件，模型通常需量化和稀疏化，推理延迟要稳定可预测。
50%待验证多模态推理在手机上的发热和耗电表现会直接影响其能否常驻在应用里。
50%待验证端侧设备没有自动扩容，因此应在发布前测量真实的内存余量
50%待验证端侧LLM推理中，模型权重、KV缓存和运行时必须同时容纳在设备的固定内存里
50%待验证端侧推理应按设备可用内存来确定上下文长度，而非按模型理论上的最大值
50%待验证端侧推理存在冷启动延迟，模型需先加载进内存，这个时间可能主导用户第一印象
50%待验证加载过程中返回的503应被视为正常信号，而非故障，应对首个请求采用退避重试
50%待验证应用均值而非中位数来估算端侧吞吐量，因为中位数会过滤掉慢但真实存在的用例，使容量估算过于乐观
50%待验证端侧设备可能同时存在CPU、GPU/NPU、内存带宽等多种瓶颈，应观察负载下哪种资源在饱和而非盲目优化推理速度
50%待验证端侧推理值得采用的条件是：数据不能离开本地、网络不可靠、或延迟不能依赖网络往返
50%待验证端侧推理最常出现的问题是内存，上下文长度会悄悄撑大KV缓存直至与权重相撞
50%待验证端侧推理将模型直接运行在用户本地设备上，优势在于延迟极低、数据不离本地、离线可用
50%