MLC-LLM
专为机器学习模型跨平台部署设计的开源框架，支持将大语言模型部署到浏览器、移动设备等多种端侧环境，支持WebGPU等硬件后端
时间轴 (近 90 天)
近年来，随着高通骁龙、苹果神经引擎等移动芯片的AI算力提升，以及Llama.cpp、MLC-LLM等推理框架的成熟，7B参数以下的模型已能在旗舰手机上实现可用的生成速度。
MLC-LLM、Transformers.js 等开源框架专门针对浏览器端推理场景优化，能将ONNX、GGUF等格式的模型权重加载到浏览器内存并执行推理
WebLLM项目通常使用MLC-LLM框架对模型进行量化和编译优化，MLC-LLM的底层基础设施是Apache TVM
MLC-LLM的底层基础设施是Apache TVM，一个开源的深度学习编译器栈，能够将模型自动优化并编译为特定硬件平台的高效代码
主流边缘推理框架包括谷歌的TensorFlow Lite、微软主导的ONNX Runtime、以及陈天奇团队开发的MLC-LLM
MLC-LLM由陈天奇团队开发，能将大语言模型编译为针对特定硬件高度优化的原生代码
全部知识事实 (6)
近年来，随着高通骁龙、苹果神经引擎等移动芯片的AI算力提升，以及Llama.cpp、MLC-LLM等推理框架的成熟，7B参数以下的模型已能在旗舰手机上实现可用的生成速度。
50%待验证MLC-LLM、Transformers.js 等开源框架专门针对浏览器端推理场景优化，能将ONNX、GGUF等格式的模型权重加载到浏览器内存并执行推理
50%待验证WebLLM项目通常使用MLC-LLM框架对模型进行量化和编译优化，MLC-LLM的底层基础设施是Apache TVM
50%待验证MLC-LLM的底层基础设施是Apache TVM，一个开源的深度学习编译器栈，能够将模型自动优化并编译为特定硬件平台的高效代码
50%待验证主流边缘推理框架包括谷歌的TensorFlow Lite、微软主导的ONNX Runtime、以及陈天奇团队开发的MLC-LLM
50%待验证MLC-LLM由陈天奇团队开发，能将大语言模型编译为针对特定硬件高度优化的原生代码
50%