模型Qwen3-0.6B

Qwen3-0.6B

阿里巴巴Qwen系列的超小参数量语言模型，参数量仅0.6B，专为边缘设备、端侧推理及低成本部署场景设计

核心事实

Qwen2.5:7B模型Q4量化后文件大小约为4GB

已验证80% 置信10 来源

时间轴 (近 90 天)

10月17日

Qwen3-0.6B 小模型权重仅约 1-2GB。

待验证50%

10月17日

在 Qwen3-0.6B 的 BF16 与 Q4_K_M 对比中，Q4_K_M 在 11.6% 的位置改变了 top-1 token，平均 KL 散度为 0.067，困惑度从 7.83 升至 8.53。

待验证50%

10月17日

在 is_prime 函数定义处，BF16 版本有 97.9% 概率输出 False，而 Q4_K_M 有 79.1% 概率输出 True。

待验证50%

10月17日

Q4_K_M 与 BF16 的逐层去噪实验显示，KL 从第 0 层到第 27 层平滑下降，没有单一层承载全部差异。

待验证50%

10月17日

在 is_prime token 处，将 BF16 的残差写入 Q4_K_M 后，该 token 的 KL 从第 6 层后的 0.48 降至第 9 层后的 0.04；反向写入则从约第 12 层重现翻转，说明决定性差异形成于第 6 至 12 层。

待验证50%

10月17日

在 12 个块、1282 个评分位置上，Q4_K_M 恢复 BF16 时，注意力消除 0.030（95% CI 0.019–0.041），MLP 消除 0.036（0.024–0.048），配对差异跨越零，两者无法区分；将 Q4_K_M 注入 BF16 时，MLP 增加更多（0.014，0.005 至 0.023）。

待验证50%

10月13日

Qwen2.5-1.5B 在 GSM8K 上得 0.729，比 Gemma 4 E2B 低 18.2 个百分点；Qwen3-0.6B 得 0.599，低 31.2 个百分点；SmolLM2-1.7B 得 0.461，低 45.0 个百分点。

待验证50%

10月13日

候选小模型包括SmolLM2（135M和360M）、Gemma 3 270M、LFM2.5-350M、Qwen2.5-0.5B和Qwen3-0.6B，它们均有ONNX浏览器构建。

待验证50%

10月12日

字节团队用Qwen3-0.6B架构从头训练控制实验表明：所有采用分块压缩的模型都出现周期性准确率波动，波动周期严格等于压缩步长；去掉RoPE或换成平均分配门控权重后波动依然存在；无压缩的全注意力基线完全正常。

待验证50%

10月11日

阿里的 Qwen/Qwen3-0.6B 一周新增超过110万次下载，从约2966万跃升至3076万，是本周下载量增量最大的模型

已过期50%

还有 2 条时间轴事件

全部知识事实 (12)

已验证

Qwen2.5:7B模型Q4量化后文件大小约为4GB

80%待验证

Qwen3-0.6B 小模型权重仅约 1-2GB。

50%待验证

在 is_prime 函数定义处，BF16 版本有 97.9% 概率输出 False，而 Q4_K_M 有 79.1% 概率输出 True。

50%待验证

Q4_K_M 与 BF16 的逐层去噪实验显示，KL 从第 0 层到第 27 层平滑下降，没有单一层承载全部差异。

50%待验证

在 Qwen3-0.6B 的 BF16 与 Q4_K_M 对比中，Q4_K_M 在 11.6% 的位置改变了 top-1 token，平均 KL 散度为 0.067，困惑度从 7.83 升至 8.53。

50%待验证

Qwen2.5-1.5B 在 GSM8K 上得 0.729，比 Gemma 4 E2B 低 18.2 个百分点；Qwen3-0.6B 得 0.599，低 31.2 个百分点；SmolLM2-1.7B 得 0.461，低 45.0 个百分点。

50%待验证

候选小模型包括SmolLM2（135M和360M）、Gemma 3 270M、LFM2.5-350M、Qwen2.5-0.5B和Qwen3-0.6B，它们均有ONNX浏览器构建。

50%待验证

Qwen3-0.8B是小参数量模型，单张消费级显卡即可完成训练

50%待验证

无填充训练使 Qwen3-0.6B 的显存占用从 5.45 GB 降到 1.87 GB，每步速度提升 5 到 8 倍

50%

来源文章

逐层拆解Q4量化模型：BF16与Q4_K_M差异从何而来10月17日浏览器里跑RAG：小语言模型的实测与反思10月13日本周AI数据信号盘点：谁在悄悄崛起10月11日