本地大模型
在本地硬件设备上运行的大型语言模型，无需依赖云端服务，强调隐私保护、低延迟和离线可用性，通常结合量化技术在消费级硬件上运行
核心事实
时间轴 (近 90 天)
脚本的规则可以随时让本地大模型根据用户要求调整。
UP主预告下期将讲解本地大模型如何接入MCP，形成从模型到硬件的完整闭环。
本地大模型部署的核心吸引力在于控制权：接口跑在本机，没有账号体系、额度限制，也无法被远程掐线。
实践中常见做法是用行为树管理角色的目标与状态机，用本地模型负责对话与即时反应生成，以平衡可控性与表现力。
UP主提出用本地大模型生成单文件HTML，通过录屏代替AI视频渲染，实现精确可控的视频素材生产。
本地部署的 27B 级模型在复杂项目上的表现与云端旗舰模型仍有差距，且大型项目重构和调试的稳定性尚未验证。
量化不仅影响显存占用，也影响计算路径：部分低比特格式在特定硬件上有专门加速，另一些则需反量化后再计算，实际速度差异可能超出预期。
开发者若把本地 AI 健康应用交付给普通用户，仍需自行承担错误信息带来的风险，免责声明只是法律层面的最低限度提示。
当推理在用户机器上完成时，对话内容和健康描述不会离开设备，也不会被用于训练或计入计费。
对于文本分类、信息抽取这类结构化程度较高的任务，本地小模型的表现已经足以胜任，发票字段识别恰好属于这一类。
还有 24 条时间轴事件
全部知识事实 (20)
受限于消费级设备的算力和内存，本地能运行的模型规模通常远小于云端旗舰模型，在复杂推理、长上下文处理等任务上存在差距
90%已验证本地运行大模型意味着所有数据都不会离开用户的设备，具有隐私优势
80%已验证运行70亿参数以上的本地大模型通常需要至少16GB显存的GPU
80%已验证工具调用（function calling）是指大语言模型在生成回复过程中可以主动请求调用外部函数或API
80%已验证量化不仅影响显存占用，也影响计算路径：部分低比特格式在特定硬件上有专门加速，另一些则需反量化后再计算，实际速度差异可能超出预期。
75%已验证一个拥有巨大总参数量的稀疏模型，可能在推理成本上远低于一个规模更小的稠密模型
75%已验证本地部署相比云端API的优势在于数据不出本机、无Token费用、网络延迟可控
75%已验证本地部署是指将大模型运行在企业自有服务器或私有云环境中，而非调用第三方云端API
70%待验证本地化部署的AI智能体在医疗、法律、金融等对数据隐私要求极高的场景中具有显著优势
60%待验证脚本的规则可以随时让本地大模型根据用户要求调整。
50%待验证UP主预告下期将讲解本地大模型如何接入MCP，形成从模型到硬件的完整闭环。
50%待验证本地大模型部署的核心吸引力在于控制权：接口跑在本机，没有账号体系、额度限制，也无法被远程掐线。
50%待验证实践中常见做法是用行为树管理角色的目标与状态机，用本地模型负责对话与即时反应生成，以平衡可控性与表现力。
50%待验证UP主提出用本地大模型生成单文件HTML，通过录屏代替AI视频渲染，实现精确可控的视频素材生产。
50%待验证本地部署的 27B 级模型在复杂项目上的表现与云端旗舰模型仍有差距，且大型项目重构和调试的稳定性尚未验证。
50%待验证开发者若把本地 AI 健康应用交付给普通用户，仍需自行承担错误信息带来的风险，免责声明只是法律层面的最低限度提示。
50%待验证当推理在用户机器上完成时，对话内容和健康描述不会离开设备，也不会被用于训练或计入计费。
50%待验证对于文本分类、信息抽取这类结构化程度较高的任务，本地小模型的表现已经足以胜任，发票字段识别恰好属于这一类。
50%待验证本地大模型并发能力有限，多请求同时到达时该工具会将请求排队等待而非直接报错，采用先来先服务的串行队列。
50%待验证本地部署大模型排查问题的正确思路是先定位再改动，一次只改一项，顺序为先查任务和输入，再查聊天模板，最后才动采样参数
50%