本地推理
在本地设备上运行AI模型进行推理的技术方案，无需依赖云端服务，具备低延迟、数据隐私保护和无网络依赖等特点
核心事实
时间轴 (近 90 天)
本地推理意味着数据完全不出本机，代价是模型能力通常弱于云端旗舰模型，且对硬件尤其是显存有要求。
本地推理在隐私敏感场景、离线环境和低延迟交互中具有云端推理不可替代的优势。
本地开源推理把边际成本转化为一次性硬件投入与电力消耗，调用频次越高，单位成本越低。
通过云端 API 使用模型时，成本随调用量线性增长，且数据必须离开本地进入第三方服务器，存在合规与隐私风险。
社交媒体上传播的版本将 Altman 的言论简化为‘本地推理是浪费’，遗漏了 DRAM 闲置这一前提条件。
OpenAI CEO Sam Altman 表示：'本地推理是对稀缺资源的糟糕分配。'
现实更可能是混合模式：对延迟敏感、隐私要求高、任务固定的场景，本地推理有不可替代的价值；对需要前沿能力、弹性扩展、大规模并发的场景，云端依然是更经济的选择。
Proton若选择本地路径，需在功能与设备兼容性间权衡；若选云端可信环境，则需向用户证明其不可窥探
纯本地推理隐私性最好但对 Mac 的算力和内存要求较高。
本地推理 LLM 的速度瓶颈往往在内存带宽而非纯算力，因为生成每个 token 都需要把全部权重过一遍。
还有 40 条时间轴事件
全部知识事实 (20)
受限于消费级设备的算力和内存，本地能运行的模型规模通常远小于云端旗舰模型，在复杂推理、长上下文处理等任务上存在差距
90%已验证本地运行大模型意味着所有数据都不会离开用户的设备，具有隐私优势
80%已验证本地推理的两大核心优势是隐私性和零边际成本，代价是对硬件有一定要求且模型参数规模和知识覆盖面往往不及云端大模型。
75%已验证本地局域网内的指令执行延迟可低至5毫秒以内，远优于云端方案50-300毫秒的往返时延
75%已验证对于7B参数模型的4-bit量化版本，通常需要至少8GB内存和现代多核CPU即可流畅运行，推理速度约为每秒10-30个token
75%已验证本地推理（Local Inference）是指 AI 模型直接运行在用户设备上完成计算，而非将请求发送到远程服务器。
70%已验证本地AI的核心吸引力在于隐私、低延迟和离线可用性
70%已验证本地处理的代价是处理速度受限于用户本地设备的 CPU/GPU 性能，复杂或高分辨率项目可能面临性能瓶颈
65%已验证本地优先架构的代价是用户需自行维护本地环境，且计算性能受限于本机硬件，与云端大模型相比存在客观差距
65%已验证本地 AI 推理与云端推理的本质区别在于计算发生的位置：云端需要将提示词和上下文数据发送至远程服务器由服务商 GPU 完成运算，本地推理则把模型权重下载到用户设备并在本机完成前向传播
65%已验证本地化部署可将AI响应延迟从数百毫秒压缩至个位数毫秒级别，同时避免用户数据离开设备
65%已验证本地跑大模型的瓶颈在于显存容量与带宽，CPU不是关键
65%已验证本地AI模型的核心优势在于数据主权，所有推理过程在本地硬件完成，数据不出本地
65%已验证本地部署模型将AI模型权重下载到用户硬件运行，推理过程在本地完成，数据无需经过外部服务器
65%已验证模型压缩涵盖量化、剪枝、知识蒸馏三条主要技术路径
65%部分验证本地推理指模型或算法在用户设备上直接运行,不将请求发送到云端。
65%待验证对于数据敏感的企业，本地部署Embedding模型可使文档内容不需发送到第三方API，完全在企业内网完成向量化
60%待验证本地推理意味着数据完全不出本机，代价是模型能力通常弱于云端旗舰模型，且对硬件尤其是显存有要求。
50%待验证本地推理在隐私敏感场景、离线环境和低延迟交互中具有云端推理不可替代的优势。
50%待验证通过云端 API 使用模型时，成本随调用量线性增长，且数据必须离开本地进入第三方服务器，存在合规与隐私风险。
50%