[控场AI]
概念中央处理器

CPU

中央处理器,计算机的核心组件,负责执行指令和处理数据,是数据中心通用计算的基础。

核心事实

时间轴 (近 90 天)

10月30日

课程开头几个部分在 CPU 上就能跑通,训练环节用 GPU 效果更好。

待验证50%
10月29日

CPU本质上是一个状态机:当前状态由寄存器值和程序计数器定义,每条指令执行后状态按指令语义迁移到下一个状态。

待验证50%
10月28日

文中35瓦的功耗估算通常只覆盖待机或轻负载状态;当模型真正参与推理时,CPU/GPU高负载下实际功耗可能升至60–100瓦甚至更高,具体取决于芯片型号与模型规模。

待验证50%
10月25日

单CPU训练约20分钟,智能体参数约47.5万。

待验证50%
10月23日

训练完全在CPU上进行,因为开发者测试发现GPU并未带来加速。

待验证50%
10月23日

DeepInfo采用GPU与CPU交叉干活的流水线设计,实现异构调度。

待验证50%
10月20日

与CPU/GPU上由缓存自动预取不同,Spyre上的数据搬运必须由编译器在合适位置插入,并与计算指令做同步。

待验证50%
10月20日

在内存带宽不变的情况下,升级CPU或增加核心数不会使本地大模型推理速度有实质性提升。

待验证50%
10月20日

运行时系统融合了剩余的CPU算子,并将NPU执行与适配器计算重叠,从而提升整体吞吐。

待验证50%
10月20日

该系统将三个涉及冻结权重的乘积运算全部放在NPU上执行,同时把训练图、适配器和优化器保留在CPU。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

Ollama能够自动识别并利用机器上的计算资源,GPU和CPU均可调度

80%
已验证

传统存储访问路径需要数据多次经过CPU内存中转,消耗CPU周期并在GPU与存储间制造性能鸿沟

75%
已验证

CPU软件光栅化渲染的性能比真实GPU慢10-100倍(1-2个数量级)

75%
已验证

对于现代CPU和GPU而言,内存带宽往往是推理速度的真正瓶颈,而非计算单元的算力本身,因此量化能带来速度提升

70%
已验证

Ollama能够在模型超出显存容量时自动将部分模型层卸载到内存中由CPU处理(offloading技术)

70%
已验证

传统 PC 架构中 CPU 与 GPU 拥有各自独立的内存池,数据在两者之间传输会产生带宽瓶颈

65%
已验证

异构计算是指在同一系统中结合CPU、GPU、专用加速器等不同架构的处理单元,根据任务特性动态分配计算资源

65%
待验证

对于大部分CPU推理工作负载,小的独立分块搭配并行工作进程比大型推理批次更高效

60%
待验证

在纯GPU推理加低并发场景下,CPU前置处理时间可能只有几十毫秒甚至更低,相对于整个请求数秒的生成时长可忽略不计

60%
待验证

纯CPU推理通常比GPU推理慢5-10倍

60%
待验证

课程开头几个部分在 CPU 上就能跑通,训练环节用 GPU 效果更好。

50%
待验证

CPU本质上是一个状态机:当前状态由寄存器值和程序计数器定义,每条指令执行后状态按指令语义迁移到下一个状态。

50%
待验证

文中35瓦的功耗估算通常只覆盖待机或轻负载状态;当模型真正参与推理时,CPU/GPU高负载下实际功耗可能升至60–100瓦甚至更高,具体取决于芯片型号与模型规模。

50%
待验证

单CPU训练约20分钟,智能体参数约47.5万。

50%
待验证

训练完全在CPU上进行,因为开发者测试发现GPU并未带来加速。

50%
待验证

DeepInfo采用GPU与CPU交叉干活的流水线设计,实现异构调度。

50%
待验证

与CPU/GPU上由缓存自动预取不同,Spyre上的数据搬运必须由编译器在合适位置插入,并与计算指令做同步。

50%
待验证

在内存带宽不变的情况下,升级CPU或增加核心数不会使本地大模型推理速度有实质性提升。

50%
待验证

该系统将三个涉及冻结权重的乘积运算全部放在NPU上执行,同时把训练图、适配器和优化器保留在CPU。

50%
待验证

运行时系统融合了剩余的CPU算子,并将NPU执行与适配器计算重叠,从而提升整体吞吐。

50%

来源文章