CPU
中央处理器,计算机的核心组件,负责执行指令和处理数据,是数据中心通用计算的基础。
核心事实
时间轴 (近 90 天)
课程开头几个部分在 CPU 上就能跑通,训练环节用 GPU 效果更好。
CPU本质上是一个状态机:当前状态由寄存器值和程序计数器定义,每条指令执行后状态按指令语义迁移到下一个状态。
文中35瓦的功耗估算通常只覆盖待机或轻负载状态;当模型真正参与推理时,CPU/GPU高负载下实际功耗可能升至60–100瓦甚至更高,具体取决于芯片型号与模型规模。
单CPU训练约20分钟,智能体参数约47.5万。
训练完全在CPU上进行,因为开发者测试发现GPU并未带来加速。
DeepInfo采用GPU与CPU交叉干活的流水线设计,实现异构调度。
与CPU/GPU上由缓存自动预取不同,Spyre上的数据搬运必须由编译器在合适位置插入,并与计算指令做同步。
在内存带宽不变的情况下,升级CPU或增加核心数不会使本地大模型推理速度有实质性提升。
运行时系统融合了剩余的CPU算子,并将NPU执行与适配器计算重叠,从而提升整体吞吐。
该系统将三个涉及冻结权重的乘积运算全部放在NPU上执行,同时把训练图、适配器和优化器保留在CPU。
还有 40 条时间轴事件
全部知识事实 (20)
Ollama能够自动识别并利用机器上的计算资源,GPU和CPU均可调度
80%已验证传统存储访问路径需要数据多次经过CPU内存中转,消耗CPU周期并在GPU与存储间制造性能鸿沟
75%已验证CPU软件光栅化渲染的性能比真实GPU慢10-100倍(1-2个数量级)
75%已验证对于现代CPU和GPU而言,内存带宽往往是推理速度的真正瓶颈,而非计算单元的算力本身,因此量化能带来速度提升
70%已验证Ollama能够在模型超出显存容量时自动将部分模型层卸载到内存中由CPU处理(offloading技术)
70%已验证传统 PC 架构中 CPU 与 GPU 拥有各自独立的内存池,数据在两者之间传输会产生带宽瓶颈
65%已验证异构计算是指在同一系统中结合CPU、GPU、专用加速器等不同架构的处理单元,根据任务特性动态分配计算资源
65%待验证对于大部分CPU推理工作负载,小的独立分块搭配并行工作进程比大型推理批次更高效
60%待验证在纯GPU推理加低并发场景下,CPU前置处理时间可能只有几十毫秒甚至更低,相对于整个请求数秒的生成时长可忽略不计
60%待验证纯CPU推理通常比GPU推理慢5-10倍
60%待验证课程开头几个部分在 CPU 上就能跑通,训练环节用 GPU 效果更好。
50%待验证CPU本质上是一个状态机:当前状态由寄存器值和程序计数器定义,每条指令执行后状态按指令语义迁移到下一个状态。
50%待验证文中35瓦的功耗估算通常只覆盖待机或轻负载状态;当模型真正参与推理时,CPU/GPU高负载下实际功耗可能升至60–100瓦甚至更高,具体取决于芯片型号与模型规模。
50%待验证单CPU训练约20分钟,智能体参数约47.5万。
50%待验证训练完全在CPU上进行,因为开发者测试发现GPU并未带来加速。
50%待验证DeepInfo采用GPU与CPU交叉干活的流水线设计,实现异构调度。
50%待验证与CPU/GPU上由缓存自动预取不同,Spyre上的数据搬运必须由编译器在合适位置插入,并与计算指令做同步。
50%待验证在内存带宽不变的情况下,升级CPU或增加核心数不会使本地大模型推理速度有实质性提升。
50%待验证该系统将三个涉及冻结权重的乘积运算全部放在NPU上执行,同时把训练图、适配器和优化器保留在CPU。
50%待验证运行时系统融合了剩余的CPU算子,并将NPU执行与适配器计算重叠,从而提升整体吞吐。
50%