模型量化
将神经网络权重从高精度浮点数转换为低精度表示的技术，可显著降低模型内存占用和加速推理
核心事实
时间轴 (近 90 天)
随着模型量化与端侧芯片进步，小参数模型已能完成摘要、分类等任务
大模型可能需要量化（如4-bit量化）才能放入消费级显卡。
开源模型通常以量化格式分发（如 4-bit 量化），以降低显存和内存占用。
业界常见做法包括模型量化、按需分片加载以及利用浏览器缓存或 IndexedDB 持久化模型文件，以应对本地 AI 的存储与分发问题。
过度量化可能导致工具调用时JSON格式错误率上升。
边缘推理带来模型体积、冷启动、硬件异构性等工程约束，通常需要模型量化、蒸馏或专用推理运行时配合。
推理优化是降低AI单位使用成本的核心技术方向，常见手段包括模型量化（用INT8/FP8等更低精度表示权重以减少显存占用和计算量）、知识蒸馏（用大模型指导小模型）、KV缓存复用与批处理（合并请求提升GPU利用率）、投机解码（用小模型草拟、大模型校验以加速生成）。
在 4 位量化下，许多中小规模模型的任务表现下降有限，却能把运行门槛从数据中心级 GPU 降到笔记本甚至手机。
Ollama 拉取的部分模型自带量化版本（如 4bit、8bit），使得消费级显卡甚至纯 CPU 机器也能运行中等规模模型。
模型量化是将模型权重和激活值从 FP16/BF16 等高位宽压缩到 FP8、INT8 甚至 INT4，以降低显存占用、提升访存带宽利用率并加速计算。
还有 26 条时间轴事件
全部知识事实 (20)
量化技术通过将 32 位或 16 位浮点权重压缩为 4 位或 8 位整数表示，以牺牲少量精度换取内存与速度改善
90%已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB
90%已验证量化技术通过将模型权重从FP32/FP16压缩为INT8/INT4等低精度格式，可将模型体积缩减50%-75%
90%已验证接受率越高意味着草稿模型猜测越准，大模型返工次数越少，直接决定投机解码的实际加速效果
85%已验证模型量化的本质是将模型的浮点权重和激活值（通常是FP32）映射到低位宽表示（如INT8、INT4），从而降低内存占用、提升推理速度并减少功耗
85%已验证4-bit量化在损失约1-3%准确率的前提下，将模型体积缩减至原来的1/8
80%已验证模型量化是将神经网络权重从高精度浮点数压缩为低精度整数的技术
80%已验证模型蒸馏是将大模型的能力压缩到小模型中以降低推理成本的技术
80%已验证模型量化技术（如GGUF格式的4-bit/8-bit量化）使得原本需要数十GB显存的大模型可以在消费级GPU甚至CPU上运行
80%已验证量化技术通过将模型参数从32位浮点数降低到4位或8位整数表示，可大幅减少内存占用和计算量
80%已验证模型量化、推测解码、连续批处理是用于降低推理延迟的软件技术
75%已验证速度提升与价格下降同时发生通常指向底层推理架构优化，可能路径包括模型蒸馏、量化、推测解码和流式处理架构
75%已验证模型量化通过用更低精度数值表示替代高精度参数，理论上可将模型体积和计算量缩减2-4倍
75%已验证对于7B参数模型的4-bit量化版本，通常需要至少8GB内存和现代多核CPU即可流畅运行，推理速度约为每秒10-30个token
75%已验证Ollama支持4-bit、8-bit等量化压缩技术，通过降低模型权重的数值精度来减少显存占用和计算量
75%已验证FP8量化可将7B模型权重从约14GB（FP16）压缩至约7GB
70%已验证量化感知训练(QAT)让模型保留全精度权重副本，每次前向传播练习舍入操作，学会在极端压缩下的权重分布
70%已验证模型量化是将模型权重和激活值从 FP16/BF16 等高位宽压缩到 FP8、INT8 甚至 INT4，以降低显存占用、提升访存带宽利用率并加速计算。
65%已验证Apple Silicon（M系列芯片）的统一内存架构使本地推理体验相对友好
65%已验证量化是一种模型压缩技术，将模型参数从高精度浮点数降低到更低位数的整数表示
65%