概念本地推理 / 本地化部署 / Local LLM
大模型本地部署
指将大型语言模型部署在本地硬件（如个人PC、服务器）上运行推理，无需依赖云端API，具备数据隐私保护和离线使用的优势，通常借助llama.cpp、vLLM等推理框架实现。
核心事实
时间轴 (近 90 天)
9月24日
企业出于数据安全、合规、成本控制考量，越来越倾向于将大模型部署在自有服务器或私有云上，而非完全依赖OpenAI、Anthropic等厂商的API
已验证65%
8月31日
评估本地部署显存需求应先明确目标精度和目标上下文长度再倒推所需显存，而非仅看参数量
待验证50%