Llama 3.2 3B
Meta发布的Llama 3.2系列中的30亿参数轻量级语言模型，模型文件约2GB，适合在消费级硬件上本地部署运行
时间轴 (近 90 天)
本地小模型指参数量通常在 1B 到 10B 级别、经过量化压缩后可在消费级硬件上运行的 AI 模型，如 Llama 3.2 3B、Phi-3、Gemma 2 等。
在Llama 3.2 3B上，ConfabQA基准上的边际提升在折间波动范围内，但直接针对拒答的探针在PopQA和TriviaQA数据集上实现了18-25个百分点的提升。
正确性信号是模型依赖的，仅在Llama 3.2 3B上具有可移植性：探针边际在ConfabQA、PopQA和TriviaQA之间转移时，81%的边际在测试多数类上得以保留。
Llama 3.2 3B 是 Meta 于 2024 年发布的小参数模型，参数量约 30 亿，适合对话与文本分析任务。
该演示系统使用 Ollama 作为本地 LLM 运行时，模型选用 Llama 3.2 3B，并支持 JSON 与 Markdown 两种报告输出格式。
如果功能需要可靠的结构化输出，应用里塞一个1B模型是不够的，应使用系统模型、更大的下载模型（如Llama 3.2 3B）或走云端
Llama 3.2 3B 模型下载文件约 2GB，可在普通笔记本上运行
4B参数模型（如Phi-3-mini或Llama 3.2 3B）仅需约8GB显存，可以在消费级GPU上运行
Llama 3.2 3B、Phi-3 Mini 3.8B、Gemma 2B 等小模型在简单问答、文本摘要和工具调用任务上具备实用能力，但在复杂推理、长文本理解和多轮对话一致性上仍与 GPT-4、Claude 等云端旗舰模型存在明显差距
全部知识事实 (9)
4B参数模型（如Phi-3-mini或Llama 3.2 3B）仅需约8GB显存，可以在消费级GPU上运行
60%待验证本地小模型指参数量通常在 1B 到 10B 级别、经过量化压缩后可在消费级硬件上运行的 AI 模型，如 Llama 3.2 3B、Phi-3、Gemma 2 等。
50%待验证在Llama 3.2 3B上，ConfabQA基准上的边际提升在折间波动范围内，但直接针对拒答的探针在PopQA和TriviaQA数据集上实现了18-25个百分点的提升。
50%待验证正确性信号是模型依赖的，仅在Llama 3.2 3B上具有可移植性：探针边际在ConfabQA、PopQA和TriviaQA之间转移时，81%的边际在测试多数类上得以保留。
50%待验证Llama 3.2 3B 是 Meta 于 2024 年发布的小参数模型，参数量约 30 亿，适合对话与文本分析任务。
50%待验证该演示系统使用 Ollama 作为本地 LLM 运行时，模型选用 Llama 3.2 3B，并支持 JSON 与 Markdown 两种报告输出格式。
50%待验证如果功能需要可靠的结构化输出，应用里塞一个1B模型是不够的，应使用系统模型、更大的下载模型（如Llama 3.2 3B）或走云端
50%待验证Llama 3.2 3B 模型下载文件约 2GB，可在普通笔记本上运行
50%待验证Llama 3.2 3B、Phi-3 Mini 3.8B、Gemma 2B 等小模型在简单问答、文本摘要和工具调用任务上具备实用能力，但在复杂推理、长文本理解和多轮对话一致性上仍与 GPT-4、Claude 等云端旗舰模型存在明显差距
50%