Llama 3.1 70B
Meta发布的70B参数稠密大语言模型，属于Llama 3.1系列
核心事实
时间轴 (近 90 天)
70B模型在所有数据集上均达到了state-of-the-art（SOTA）性能，超越了此前基于提示的方法。
该研究使用Llama 3.1 8B和70B模型在TOEFL9、Write and Improve 2024和BULATS-L1三个数据集上评估了token概率评分方法。
Llama 3.1 70B采用8个KV头而非64个注意力头，使KV cache体量降至原来的约八分之一。
Hugging Face 计算 BF16 下 KV 缓存约每 token 250 KB，完整 100 万 token 上下文约需 266 GB。
稠密模型如Llama 3.1 70B，每个token都必须经过全部权重，因此无法在内存不足时高效超内存运行。
不同服务商托管的同名模型（如 Llama 3.1 70B）在实际推理质量、上下文窗口和速率限制上可能存在差异
78B参数规模与Meta的Llama 3.1 70B、Mistral的Mixtral系列处于相近量级
全部知识事实 (8)
Hugging Face 计算 BF16 下 KV 缓存约每 token 250 KB，完整 100 万 token 上下文约需 266 GB。
65%待验证Llama 3.3 70B本质上是对此前Llama 3.1 70B的微调版本，采用了监督微调（SFT）和基于人类反馈的强化学习（RLHF）进行训练
60%待验证该研究使用Llama 3.1 8B和70B模型在TOEFL9、Write and Improve 2024和BULATS-L1三个数据集上评估了token概率评分方法。
50%待验证70B模型在所有数据集上均达到了state-of-the-art（SOTA）性能，超越了此前基于提示的方法。
50%待验证Llama 3.1 70B采用8个KV头而非64个注意力头，使KV cache体量降至原来的约八分之一。
50%待验证稠密模型如Llama 3.1 70B，每个token都必须经过全部权重，因此无法在内存不足时高效超内存运行。
50%待验证不同服务商托管的同名模型（如 Llama 3.1 70B）在实际推理质量、上下文窗口和速率限制上可能存在差异
50%待验证78B参数规模与Meta的Llama 3.1 70B、Mistral的Mixtral系列处于相近量级
50%