模型Llama 3.2 1B
Llama-3.2-1B
Meta发布的轻量级大语言模型,参数量10亿,适合作为投机解码中的草稿模型或资源受限环境下的推理。
时间轴 (近 90 天)
10月18日
作者统计了下载量最高的 60 个 Llama-3.2-1B 微调模型:48 个声明的许可证带有与父模型相同的义务,6 个声明了 Apache-2.0 或 MIT,3 个的许可证无法评估,3 个没有声明。
已过期50%
10月17日
Lucebox 将草稿模型和目标模型拆分到不同硬件上运行,官方示例中 Llama-3.2-1B 作为草稿模型跑在第二块 GPU 或 CPU 上,Llama-3.1-70B 作为目标模型跑在主卡上。
待验证50%
10月8日
在匹配的batch-size-1解码延迟下,LRCC在Llama-3.2-1B上同时改善了困惑度和下游准确率
待验证50%