[控场AI]
模型Llama 3.2 1B

Llama-3.2-1B

Meta发布的轻量级大语言模型,参数量10亿,适合作为投机解码中的草稿模型或资源受限环境下的推理。

时间轴 (近 90 天)

10月18日

作者统计了下载量最高的 60 个 Llama-3.2-1B 微调模型:48 个声明的许可证带有与父模型相同的义务,6 个声明了 Apache-2.0 或 MIT,3 个的许可证无法评估,3 个没有声明。

已过期50%
10月17日

Lucebox 将草稿模型和目标模型拆分到不同硬件上运行,官方示例中 Llama-3.2-1B 作为草稿模型跑在第二块 GPU 或 CPU 上,Llama-3.1-70B 作为目标模型跑在主卡上。

待验证50%
10月8日

在匹配的batch-size-1解码延迟下,LRCC在Llama-3.2-1B上同时改善了困惑度和下游准确率

待验证50%

全部知识事实 (2)

来源文章