#端侧推理
共 8 篇相关文章
iPhone跑35B MoE达20.5 tok/s：不跳专家的调度魔法
OpenBMB 的 MiniCPM-V 4.7 借助 Lookahead Expert Scheduling 技术，让 35B-A3B MoE 模型在 iPhone 上以 20.5 tok/s 运行，不跳过专家，精度仅降 0.16 分，实现已在 llama.cpp-omni 开源。
Qwen3.8-27B 跑进 iPhone 18 神经引擎：15–70 tok/s 的端侧大模型突破
27B 参数的 Qwen3.8 模型在 iPhone 18 神经引擎上以 1.5 bpw 量化运行，实测 15–70 tok/s。本文分析低比特量化的精度代价、神经引擎推理的能效权衡，以及端侧大模型对隐私优先 AI 应用的意义。
MediaPipe LLM API 已停更：迁移到 LiteRT-LM 并加上 ABI 检查
MediaPipe LLM Inference API 已进入仅维护模式，新项目应迁移到 LiteRT-LM。本文详解 Engine 与 Conversation 用法、Flow 流式输出、ABI 检查、GPU 到 CPU 回退、上下文裁剪与内存释放等 Android 端侧 LLM 工程实践。
浏览器跑LLM：WebGPU达63 tokens/s，WASM仅1.6
BEINGS 聊天室实测浏览器内运行 LLM：同款 360M 模型在 WebGPU 上达 62.9 tokens/s，WASM 回退仅 1.6 tokens/s，回复耗时 0.54 秒对 26.9 秒。含 Transformers.js + Web Worker 实现、采样参数调优、垃圾过滤器与打包器陷阱的完整经验。
PCEI开源：BitNet+Mamba+FastKAN打造端侧具身智能
PCEI开源项目将BitNet 1.58b三值量化、Mamba状态空间模型和FastKAN样条流形组合用于端侧具身智能，支持Mac和CUDA设备，附带11篇研究论文，探索消费级硬件上运行物理约束AI的可行性。
边缘AI实战：3B小模型为何能击败70B大模型
边缘AI部署实战指南：3B小模型在分类、提取、路由等窄任务上以低延迟、离线可用和零API成本击败70B大模型。涵盖硬件选型、教师-学生蒸馏管线、混合路由、安全监控与标注经济学。
