Llama 3.3 70B
Llama 3.3 70B是Meta发布的开源大型语言模型，属于Llama系列第三代产品，拥有约700亿参数规模。该模型支持文本生成、对话、推理、代码编写等多种自然语言处理任务，以开源形式发布，可供研究人员和开发者在本地或云端部署使用，具备较高的推理效率与性能表现。
核心事实
时间轴 (近 90 天)
Llama 3.3 70B 在一个托管商上拿到 93.4% 的分数，在另一个托管商上只有 69.5%。
MainBrella的对话推理由Llama 3.3 70B承担，通过Cloudflare Workers AI调用。
Cloudflare Workers AI按神经元或调用量计费，提供开箱即用的开源模型如Llama 3.3 70B，通过API调用，但模型选择、微调和上下文窗口受平台限制。
微调70B模型时，QLoRA约需50 GB显存，LoRA约150 GB，全量微调配合AdamW优化器高达1.1 TB。
每1000个在途token在KV缓存中需要约0.33 GB显存。
Llama 3.3 70B的KV缓存计算公式为：2（键和值）× 80层 × 8个KV头 × 128头维度 × 2字节 = 每token 327,680字节。
全量微调70B模型配合AdamW优化器需要约1,129 GB显存（705.5亿参数 × 16字节/参数）。
1×A100 80GB运行4-bit量化的70B模型时，每小时价格约为$1.09，可支持约98,000个在途token。
2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。
DataBugBench 测试覆盖了五款模型：Claude 3.5 Sonnet、GPT-4o、Gemini 1.5 Pro、Qwen 2.5 Coder 32B、Llama 3.3 70B
还有 5 条时间轴事件
全部知识事实 (20)
以 float16 精度为基准每个参数约占 2 字节，7B 模型约需 14GB 显存/内存，70B 模型约需 140GB
80%已验证300B INT4量化模型约需150-180GB存储空间
75%已验证70B级别的模型即便经过量化，往往也需要40GB以上显存或多卡配置
75%已验证Llama 3.3 70B经过4-bit量化后模型大小约为40GB，可在配备64GB内存的Mac Studio或单张48GB显存的专业GPU上运行
65%待验证Llama 3.3 70B支持函数调用（Function Calling）功能
90%待验证Llama 3.3 70B本质上是对此前Llama 3.1 70B的微调版本，采用了监督微调（SFT）和基于人类反馈的强化学习（RLHF）进行训练
60%待验证Llama 3.3 70B 在一个托管商上拿到 93.4% 的分数，在另一个托管商上只有 69.5%。
50%待验证Cloudflare Workers AI按神经元或调用量计费，提供开箱即用的开源模型如Llama 3.3 70B，通过API调用，但模型选择、微调和上下文窗口受平台限制。
50%待验证MainBrella的对话推理由Llama 3.3 70B承担，通过Cloudflare Workers AI调用。
50%待验证全量微调70B模型配合AdamW优化器需要约1,129 GB显存（705.5亿参数 × 16字节/参数）。
50%待验证2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。
50%待验证每1000个在途token在KV缓存中需要约0.33 GB显存。
50%待验证微调70B模型时，QLoRA约需50 GB显存，LoRA约150 GB，全量微调配合AdamW优化器高达1.1 TB。
50%待验证Llama 3.3 70B的KV缓存计算公式为：2（键和值）× 80层 × 8个KV头 × 128头维度 × 2字节 = 每token 327,680字节。
50%待验证DataBugBench 测试覆盖了五款模型：Claude 3.5 Sonnet、GPT-4o、Gemini 1.5 Pro、Qwen 2.5 Coder 32B、Llama 3.3 70B
50%待验证Llama 3.3 70B的亲属称谓选择正确率为77.92%，生成正确率仅24.24%
50%待验证在提示词中明确指定目标语言（L3 prompts）的条件下，GLM-5.1生成正确率达72.29%，而Llama-3.3 70B仅24.24%
50%待验证Llama 3.3 70B采用GQA后每token KV Cache约320KB
50%待验证研究团队在Llama 3.3 70B上进行示例遮蔽实验，遮蔽示例内容后准确率回落，恢复示例后准确率重新超过零样本基线
50%待验证claude-code-local 宣称支持 Qwen 3.5 122B（约 65 tokens/秒）、Llama 3.3 70B 和 Gemma 4 31B 等模型
50%