CPU推理
利用中央处理器（CPU）和系统内存执行大语言模型推理的技术路径，相比GPU推理速度较慢，但可突破显存容量限制，适合在消费级硬件上运行大参数量模型
核心事实
时间轴 (近 90 天)
在纯CPU上运行1B参数模型时，瓶颈主要在内存带宽而非算力：每生成一个token都要把模型权重从内存读一遍，因此量化程度、CPU核心数和内存频率对速度影响很大。
在CPU上运行7B或13B模型推理时，系统内存和CPU缓存之间持续进行高延迟数据搬运，导致线程争抢和热降频，生成速度远低于GPU显存方案。
CPU推理时线程数应设为物理核心数，而非逻辑核心数，因为超线程通常会拖累推理吞吐。
现代多核CPU上，根据模型大小和量化不同，纯CPU推理大约能跑到每秒5到20个token。
在类似性能的桌面CPU上，7B Q4量化模型的生成速度大约在每秒几个token到十几个token之间。
若完全没有独立显卡，纯CPU推理速度会明显下降，处理单张票据可能需要数十秒甚至更久；对每月几十张的轻度用户尚可接受，对批量处理则不太现实。
在CPU-only环境下，运行间性能波动较大，后台进程、温度管理、内存带宽争用都会影响结果
将全部参数塞进 CPU 进行推理会面临推理推不动的性能灾难
把模型加载到系统内存、用CPU推理是没有专业级显卡用户运行大模型的一条现实路径，速度不及GPU但容量优势明显
CPU+大内存推理对交互式对话体验较差，但对离线批处理任务（如大规模文本生成、数据集标注）仍有实用价值
还有 5 条时间轴事件
全部知识事实 (15)
把模型加载到系统内存、用CPU推理是没有专业级显卡用户运行大模型的一条现实路径，速度不及GPU但容量优势明显
65%已验证GGUF专门为CPU和混合CPU/GPU推理场景优化，支持内存映射（mmap）加载，可通过部分offload到系统内存运行超出显存容量的模型
65%待验证CPU推理与GPU推理相比，速度往往有数量级的差距
60%待验证在纯CPU上运行1B参数模型时，瓶颈主要在内存带宽而非算力：每生成一个token都要把模型权重从内存读一遍，因此量化程度、CPU核心数和内存频率对速度影响很大。
50%待验证在CPU上运行7B或13B模型推理时，系统内存和CPU缓存之间持续进行高延迟数据搬运，导致线程争抢和热降频，生成速度远低于GPU显存方案。
50%待验证现代多核CPU上，根据模型大小和量化不同，纯CPU推理大约能跑到每秒5到20个token。
50%待验证CPU推理时线程数应设为物理核心数，而非逻辑核心数，因为超线程通常会拖累推理吞吐。
50%待验证在类似性能的桌面CPU上，7B Q4量化模型的生成速度大约在每秒几个token到十几个token之间。
50%待验证若完全没有独立显卡，纯CPU推理速度会明显下降，处理单张票据可能需要数十秒甚至更久；对每月几十张的轻度用户尚可接受，对批量处理则不太现实。
50%待验证在CPU-only环境下，运行间性能波动较大，后台进程、温度管理、内存带宽争用都会影响结果
50%待验证将全部参数塞进 CPU 进行推理会面临推理推不动的性能灾难
50%待验证CPU+大内存推理对交互式对话体验较差，但对离线批处理任务（如大规模文本生成、数据集标注）仍有实用价值
50%待验证缓解CPU推理发热的方法包括限制并发线程数、使用更激进的量化版本（如Q4_K_M而非Q8）、控制上下文长度以及确保良好散热
50%待验证GPU 推理速度通常是纯 CPU 的 5-20 倍，当模型太大无法放入显存时部分层会卸载到内存由 CPU 处理（混合运行/partial offload）
50%待验证纯CPU方案相比GPU方案能显著降低工业检测的部署门槛和成本
50%