TensorFlow Lite
Google推出的轻量级机器学习框架,专为移动端和嵌入式设备设计,支持模型量化和硬件加速,是跨平台端侧AI部署的主流工具之一
核心事实
时间轴 (近 90 天)
TFLite Micro 是 TensorFlow Lite 的微控制器版本,专为 KB 级内存的 MCU 设计,不含动态内存分配。
在960x540输入下,TensorFlow Lite生态中的轻量视觉模型可以判断画面中是否有人、人是否在看屏幕、头部朝向等,但不足以进行高精度人脸识别。
一条Twitter用户@mike64_t的推文声称三星正在960x540分辨率的图像上运行TensorFlow Lite模型用于追踪用户。
边缘部署常用工具包括TensorFlow Lite、ONNX Runtime和TensorRT。
Google LiteRT(原 TensorFlow Lite)提供训练后量化和量化感知训练等工具链,支持在 CPU、GPU 和 NPU 上执行。
LiteRT 是 Google 于 2024 年推出的统一设备端 AI 运行时,取代了 TensorFlow Lite 和 TensorFlow Lite GPU Delegate 等组件,目标是为移动与嵌入式设备提供跨框架(含 PyTorch、JAX、TensorFlow)的推理执行引擎。
在C++中集成推理引擎,常见做法是使用ONNX Runtime、whisper.cpp或TensorFlow Lite等后端,将模型转换为ONNX或GGUF格式后加载。
边缘AI的典型代表包括Google的TensorFlow Lite、Apple的Neural Engine以及高通的AI Engine。
ML Kit 在 TensorFlow Lite 之上封装了一批开箱即用的 API,如文本识别、条码扫描、人脸检测和语言识别,适合不想从零训练模型的团队。
选择工具时,通常先看任务是否需要自定义模型:通用任务优先用 ML Kit 这类现成 API,需要私有数据微调或特定领域精度时,再走 Core ML 或 TensorFlow Lite 的自定义模型路径。
还有 13 条时间轴事件
全部知识事实 (20)
Google开发了TensorFlow Lite和LiteRT等轻量级推理框架用于移动设备端AI推理
65%待验证Media3 Transformer是一个基于管道架构的媒体转码和编辑框架,AI FX库作为其效果插件,底层依赖MediaPipe或TensorFlow Lite模型进行推理
70%待验证TensorFlow在工业部署方面拥有包括TensorFlow Serving、TensorFlow Lite等更完整的生产工具链
60%待验证谷歌为端侧AI提供Android NNAPI硬件抽象层和Google AI Edge(原TensorFlow Lite演进)工具集
60%待验证TFLite Micro 是 TensorFlow Lite 的微控制器版本,专为 KB 级内存的 MCU 设计,不含动态内存分配。
50%待验证在960x540输入下,TensorFlow Lite生态中的轻量视觉模型可以判断画面中是否有人、人是否在看屏幕、头部朝向等,但不足以进行高精度人脸识别。
50%待验证边缘部署常用工具包括TensorFlow Lite、ONNX Runtime和TensorRT。
50%待验证Google LiteRT(原 TensorFlow Lite)提供训练后量化和量化感知训练等工具链,支持在 CPU、GPU 和 NPU 上执行。
50%待验证LiteRT 是 Google 于 2024 年推出的统一设备端 AI 运行时,取代了 TensorFlow Lite 和 TensorFlow Lite GPU Delegate 等组件,目标是为移动与嵌入式设备提供跨框架(含 PyTorch、JAX、TensorFlow)的推理执行引擎。
50%待验证在C++中集成推理引擎,常见做法是使用ONNX Runtime、whisper.cpp或TensorFlow Lite等后端,将模型转换为ONNX或GGUF格式后加载。
50%待验证边缘AI的典型代表包括Google的TensorFlow Lite、Apple的Neural Engine以及高通的AI Engine。
50%待验证选择工具时,通常先看任务是否需要自定义模型:通用任务优先用 ML Kit 这类现成 API,需要私有数据微调或特定领域精度时,再走 Core ML 或 TensorFlow Lite 的自定义模型路径。
50%待验证ML Kit 在 TensorFlow Lite 之上封装了一批开箱即用的 API,如文本识别、条码扫描、人脸检测和语言识别,适合不想从零训练模型的团队。
50%待验证TensorFlow Lite 专注于移动端和嵌入式设备的模型推理,通过量化和算子精简降低包体积与延迟
50%待验证端侧AI的核心技术路径通常依赖轻量化模型框架,如ONNX Runtime、TensorFlow Lite或Apple的Core ML
50%待验证LiteRT.js前身为TensorFlow Lite的Web衍生项目,面向移动与边缘场景的轻量化推理
50%待验证现代深度学习框架(包括TensorFlow Lite)编译预构建二进制包时通常以AVX2甚至AVX-512为基准优化,在不支持这些指令的CPU上执行会触发Illegal instruction异常并终止进程
50%待验证Firebase ML 弃用后的迁移路径为:端侧 TensorFlow Lite 模型改用 Cloud Storage 存储分发,Cloud Vision 功能改用 Firebase AI Logic 或直接调用 Cloud Vision API
50%待验证TensorFlow Lite、ONNX Runtime Mobile、microTVM等轻量化边缘框架仍需要数十MB的运行时依赖
50%待验证边缘AI推理通常依赖TensorFlow Lite、ONNX Runtime、OpenVINO等轻量化推理框架
50%