Qwen3 4B
阿里巴巴通义千问Qwen3系列的4B参数版本，适合本地部署，在速度和能力之间取得较好平衡，支持思维链推理
核心事实
时间轴 (近 90 天)
基线BF16模型在单并发下约37.5 tokens/s，32并发聚合吞吐714 tokens/s，首token延迟61ms；切换到FP8权重后单并发提升到53.4 tokens/s，64并发峰值吞吐从约800提升到1140 tokens/s，约1.42倍。
FP8量化后首token延迟随并发上升明显：32并发时277ms，64并发时跳到1300ms；超过32并发后吞吐不再增长而延迟急剧恶化。
用Qwen3 0.6B作为4B模型的drafter、speculative token数设为4的失败案例中，吞吐从58.2 tokens/s暴跌到16 tokens/s，16并发下从700跌到240。
开贝 Qwen3 4B 模型时，Bees 会从 Hugging Face 下载约 2.5 GB 的文件并使用固定校验和验证，用户也可粘贴自己的 GGUF 链接
离策略蒸馏实验使用Qwen3 0.6B作为学生模型，Qwen3 4B作为教师模型
全部知识事实 (5)
离策略蒸馏实验使用Qwen3 0.6B作为学生模型，Qwen3 4B作为教师模型
75%待验证基线BF16模型在单并发下约37.5 tokens/s，32并发聚合吞吐714 tokens/s，首token延迟61ms；切换到FP8权重后单并发提升到53.4 tokens/s，64并发峰值吞吐从约800提升到1140 tokens/s，约1.42倍。
50%待验证FP8量化后首token延迟随并发上升明显：32并发时277ms，64并发时跳到1300ms；超过32并发后吞吐不再增长而延迟急剧恶化。
50%待验证用Qwen3 0.6B作为4B模型的drafter、speculative token数设为4的失败案例中，吞吐从58.2 tokens/s暴跌到16 tokens/s，16并发下从700跌到240。
50%待验证开贝 Qwen3 4B 模型时，Bees 会从 Hugging Face 下载约 2.5 GB 的文件并使用固定校验和验证，用户也可粘贴自己的 GGUF 链接
50%