Ternary Bonsai 2
基于Qwen3.8-27B派生的三值权重量化语言模型,将270亿参数模型压缩至6GB以下,支持WebGPU浏览器本地推理,采用{-1,0,+1}三值权重表示方式
时间轴 (近 90 天)
Ternary Bonsai 2(27B)已在 Hugging Face 上发布
Ternary Bonsai 2 的模型文件小于6GB
Ternary Bonsai 2 可借助 WebGPU 直接在浏览器里本地运行
Ternary Bonsai 2 派生自 Qwen3.8-27B,一个采用混合注意力机制的因果语言模型
Ternary Bonsai 2 的架构本身没有改变,改变的是权重的表示方式
根据模型卡片,Ternary Bonsai 2 体积缩小到FP16的九分之一,同时保留98.2%的智能表现
该98.2%智能保留率数据来自发布方自己的模型卡片,尚未经过独立复现和第三方验证
发布方提供了基于WebGPU的在线Demo(webml-community/ternary-bonsai-2-webgpu-kernels)
全部知识事实 (8)
该98.2%智能保留率数据来自发布方自己的模型卡片,尚未经过独立复现和第三方验证
50%待验证Ternary Bonsai 2 的模型文件小于6GB
50%待验证Ternary Bonsai 2 可借助 WebGPU 直接在浏览器里本地运行
50%待验证Ternary Bonsai 2 派生自 Qwen3.8-27B,一个采用混合注意力机制的因果语言模型
50%待验证Ternary Bonsai 2 的架构本身没有改变,改变的是权重的表示方式
50%待验证根据模型卡片,Ternary Bonsai 2 体积缩小到FP16的九分之一,同时保留98.2%的智能表现
50%待验证发布方提供了基于WebGPU的在线Demo(webml-community/ternary-bonsai-2-webgpu-kernels)
50%待验证Ternary Bonsai 2(27B)已在 Hugging Face 上发布
50%