[控场AI]
· 3 分钟阅读· 1,927 字

手机本地大模型+ESP32:自制热量提醒器

手机本地大模型+ESP32:自制热量提醒器

UP主开源手机本地模型拍照估算热量+ESP32小屏三色圆环提醒的闭环项目。

B站UP主「电子博Studio」开源了一个将AI食物识别与硬件提醒结合的小项目。手机APP端使用miniCPM系列开源模型在本地完成食物拍照识别与热量估算,图片无需上传云端,兼顾隐私与低延迟。ESP32小屏幕同步APP数据,用绿、黄、红三色圆环直观展示热量摄入状态,背面加装磁贴可吸附在冰箱门、咖啡机旁或零食区,在用户准备进食的决策场景中触发提醒。项目已开源在ESP32 intake仓库,支持复现与二次开发。文章也指出热量估算受照片质量和食物复杂度影响,中餐混合菜品场景下更适合作为参考区间,且手机本地模型对设备性能有一定要求。

把一块小屏幕吸在冰箱门上,每次开冰箱都能看到今天的热量摄入状态——这个想法听起来像是智能家居的某个小配件,但它的核心其实是一台普通手机和一块 ESP32。B站 UP 主「电子博Studio」最近开源了一个项目,把拍照估算热量和硬件提醒串在了一起。

手机端:用本地模型识别食物

这个项目最核心的部分是手机 APP 里的拍照估算热量功能。据 UP 主介绍,它使用的是 miniCPM V4.7 35B 开源模型,特点是能够直接部署在手机本地进行图片理解。

估算热量这个功能

操作方式很直接:拍一张正在吃的食物照片,模型就能识别出画面里的食物种类,并给出热量估算。比如拍一张食堂午饭的照片,它就能完成识别和估算。

比如我拍一张今天我在食堂吃的午饭给它

把模型放在本地跑,意味着图片不需要上传到云端,隐私上更让人放心,也省去了网络延迟的等待。对于「随手拍一下」这种高频轻量场景,本地推理的体验会更连贯。

miniCPM 是面壁智能(ModelBest)联合清华大学 NLP 实验室推出的开源端侧大模型系列,主打小参数、高性能,可在手机、平板等终端设备上离线运行。所谓「V4.7 35B」的命名可能对应特定版本与参数规模,但需注意:35B(350 亿参数)对手机本地部署而言负担较重,通常需要量化压缩或依赖高性能芯片;实际能跑在手机上的往往是 1B~3B 级别的 miniCPM 变体。这类模型通过视觉编码器理解图像内容,再以自然语言输出识别结果,因而能完成「看图说话」式的食物识别与热量估算。本地推理的核心优势是隐私保护与低延迟,但代价是占用存储空间和算力,对设备内存和芯片性能有明确门槛。

ESP32 小屏:把数据摆到眼前

项目的第二部分是一块 ESP32 小屏幕。它会同步 APP 里的数据,用绿色、黄色和红色的圆环展示当前的热量摄入状态。

和红色的圆环

这种设计把抽象的数字变成了颜色信号:绿色代表状态正常,黄色提示接近上限,红色则意味着已经超出。用户不需要打开手机查看具体数值,扫一眼颜色就能做出判断。

UP 主还在屏幕背面加了磁贴,可以把它吸在冰箱门上,或者放在咖啡机旁、零食区的某个角落。

你可以把这块小屏幕吸在冰箱门上

这个位置选择其实很关键。热量提醒如果只存在手机里,很容易被忽略;而放在冰箱门这种「决策发生地」,提醒的触发时机恰好是用户准备拿食物的时候,干预效果会更好。

ESP32 是乐鑫科技(Espressif)推出的低成本、低功耗 Wi-Fi/蓝牙双模微控制器芯片系列,主频通常在 160~240MHz,自带无线连接能力,开发板价格多在十几到几十元人民币。它广泛用于物联网原型和创客项目,生态成熟,支持 Arduino、MicroPython、ESP-IDF 等多种开发框架。在本项目中,ESP32 通过 Wi-Fi 与手机 APP 通信(如 MQTT 或 HTTP 接口)获取热量数据,再驱动一块小尺寸 TFT/OLED 屏幕绘制彩色圆环。受限于内存和算力,ESP32 本身不参与模型推理,只承担数据接收与界面渲染的「显示终端」角色,这正是「手机算、硬件显」分工的由来。

开源与可复现性

UP 主表示项目已经开源,放在了 ESP32 intake 仓库。这意味着其他人可以参照复现,也可以基于现有代码做二次开发——比如调整圆环的阈值、更换屏幕尺寸,或者接入其他本地模型。

手机本地模型加低成本硬件的组合,降低了这类项目的门槛。ESP32 本身价格亲民、生态成熟,而手机端跑本地模型也避开了额外的算力设备投入。对于想尝试「AI+硬件」小项目的人来说,这是一个比较轻量的切入点。

一些值得留意的点

热量估算的准确性受限于照片质量和食物复杂度。中餐场景里混合菜品多、配料难以分辨,估算结果更适合作为参考区间,而不是精确数值。UP 主在视频中展示的是食堂午饭的识别效果,实际使用中不同场景的表现可能有所差异。

另外,模型部署在手机本地对设备性能有一定要求,具体适配范围还需要参考项目仓库的说明。

从产品思路看,这个项目的价值不在于技术有多复杂,而在于把「识别—估算—提醒」这条链路闭合在了一个很自然的生活场景里。手机负责计算,ESP32 负责显示,冰箱门负责触发,三者各司其职。

#ESP32#本地大模型#miniCPM#热量估算#开源项目#AI硬件#食物识别
分享:

相关推荐