SmolLM2
Hugging Face推出的小型开源语言模型系列,参数量小但具备一定指令跟随能力
时间轴 (近 90 天)
在Chrome 155、Windows 11、RTX 4070环境下,360M参数的SmolLM2模型在WebGPU后端达到62.9 tokens/s,WASM后端仅1.6 tokens/s。
BEINGS的冷启动加载时间分别为7.5秒(SmolLM2 273MB)、13.4秒(Qwen 483MB)、26.8秒(Llama 1238MB),缓存后降至1.0、2.2、3.1秒。
WebGPU上加载q4f16模型文件(SmolLM2为272.7MB),WASM上加载q4模型文件(SmolLM2为387.9MB)。
候选小模型包括SmolLM2(135M和360M)、Gemma 3 270M、LFM2.5-350M、Qwen2.5-0.5B和Qwen3-0.6B,它们均有ONNX浏览器构建。
Miso 支持嵌入本地小模型 SmolLM2 或 Qwen2.5,并可替换为任意兼容的 .gguf 模型
SmolLM2 是 HuggingFace 于 2024 年发布的超小参数量语言模型系列,提供 135M、360M 和 1.7B 三个尺寸,专为边缘设备和端侧推理设计
全部知识事实 (6)
在Chrome 155、Windows 11、RTX 4070环境下,360M参数的SmolLM2模型在WebGPU后端达到62.9 tokens/s,WASM后端仅1.6 tokens/s。
50%待验证BEINGS的冷启动加载时间分别为7.5秒(SmolLM2 273MB)、13.4秒(Qwen 483MB)、26.8秒(Llama 1238MB),缓存后降至1.0、2.2、3.1秒。
50%待验证WebGPU上加载q4f16模型文件(SmolLM2为272.7MB),WASM上加载q4模型文件(SmolLM2为387.9MB)。
50%待验证候选小模型包括SmolLM2(135M和360M)、Gemma 3 270M、LFM2.5-350M、Qwen2.5-0.5B和Qwen3-0.6B,它们均有ONNX浏览器构建。
50%待验证Miso 支持嵌入本地小模型 SmolLM2 或 Qwen2.5,并可替换为任意兼容的 .gguf 模型
50%待验证SmolLM2 是 HuggingFace 于 2024 年发布的超小参数量语言模型系列,提供 135M、360M 和 1.7B 三个尺寸,专为边缘设备和端侧推理设计
50%