Llama 3.1 8B
Meta发布的开源大语言模型Llama 3.1的80亿参数版本，常用于研究和资源受限场景。
核心事实
时间轴 (近 90 天)
在 i7-100 上跑 Llama 3.1 8B 模型时，SGLang 大概 16200 tokens/s，vLLM 大概是 12500 tokens/s，差了约 30%。
Token概率评分方法在8B模型上显著优于直接提示分类，尤其在8B模型上提升明显。
该研究使用Llama 3.1 8B和70B模型在TOEFL9、Write and Improve 2024和BULATS-L1三个数据集上评估了token概率评分方法。
Llama 3.1 8B 拥有 8,006,464,512 个参数（据 Meta 官方模型卡）。
分组查询注意力（GQA）由Ainslie等人于2023年提出，是介于多头注意力（MHA）和多查询注意力（MQA）之间的折中方案，Llama 3.1 8B使用32个query头分为8组，每组4个query头共享1个KV头，使KV cache相较MHA缩小4倍。
在集群面板上用代码替代模型的结构化决策（基于相同提取事实）平均提升20.5个百分点家族准确率，Llama 3.1 8B从模型自判1%提升至代码判决56%
Groq在Llama 3.1 8B上实测推理速度超过500 tokens/秒
通用推理问答推荐 Llama 3.1 8B 与 Qwen2.5 14B，后者在中文和复杂推理上表现更好
Llama 3.1 8B每个token的KV缓存开销约为128KB
模型路由核心思想是并非所有任务都需要最强模型，简单任务可用GPT-4o-mini、Claude 3 Haiku或Llama 3.1 8B等轻量级模型，成本可能仅为旗舰模型的1/50甚至1/100
还有 1 条时间轴事件
全部知识事实 (13)
以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB
80%已验证即便用 4-bit 量化把权重压缩到 214GB，仍远超单张 48GB 显卡的容量
70%已验证Llama 3 8B有32层、8个KV头（GQA架构，查询头32个）、头维度128，8192上下文FP16单序列下KV缓存约1.07GB
65%待验证在 i7-100 上跑 Llama 3.1 8B 模型时，SGLang 大概 16200 tokens/s，vLLM 大概是 12500 tokens/s，差了约 30%。
50%待验证该研究使用Llama 3.1 8B和70B模型在TOEFL9、Write and Improve 2024和BULATS-L1三个数据集上评估了token概率评分方法。
50%待验证Token概率评分方法在8B模型上显著优于直接提示分类，尤其在8B模型上提升明显。
50%待验证Llama 3.1 8B 拥有 8,006,464,512 个参数（据 Meta 官方模型卡）。
50%待验证分组查询注意力（GQA）由Ainslie等人于2023年提出，是介于多头注意力（MHA）和多查询注意力（MQA）之间的折中方案，Llama 3.1 8B使用32个query头分为8组，每组4个query头共享1个KV头，使KV cache相较MHA缩小4倍。
50%待验证在集群面板上用代码替代模型的结构化决策（基于相同提取事实）平均提升20.5个百分点家族准确率，Llama 3.1 8B从模型自判1%提升至代码判决56%
50%待验证Groq在Llama 3.1 8B上实测推理速度超过500 tokens/秒
50%待验证通用推理问答推荐 Llama 3.1 8B 与 Qwen2.5 14B，后者在中文和复杂推理上表现更好
50%待验证Llama 3.1 8B每个token的KV缓存开销约为128KB
50%待验证模型路由核心思想是并非所有任务都需要最强模型，简单任务可用GPT-4o-mini、Claude 3 Haiku或Llama 3.1 8B等轻量级模型，成本可能仅为旗舰模型的1/50甚至1/100
50%