内存带宽
衡量数据在内存与处理器之间传输速度的指标，单位通常为GB/s，是本地运行大语言模型时decode（解码）阶段的核心性能瓶颈
核心事实
时间轴 (近 90 天)
内存带宽衡量单位时间能传输多少数据，内存延迟衡量一次访问需要等多久，两者对性能的影响路径完全不同。
推理过程并非持续占用全部内存带宽：在两次请求之间，内存可能处于空闲状态。
对终端设备而言，内存带宽影响端侧模型的响应速度和可承载的模型规模。
在AI负载中，尤其是大模型推理阶段，内存带宽往往比纯算力更能决定实际性能，因为模型参数需要频繁在内存与计算单元之间搬运，带宽不足会导致计算单元空转。
内存带宽是衡量处理器与内存之间数据传输速率的指标，通常以GB/s为单位。
本地推理 LLM 的速度瓶颈往往在内存带宽而非纯算力，因为生成每个 token 都需要把全部权重过一遍。
移动端 CPU 通常共享有限带宽的 LPDDR 内存，内存带宽是 Arm 边缘设备上常被忽视的瓶颈。
流式推理在每个时间步都要读写缓存状态，若状态张量较大或访问模式不连续，带宽压力会迅速转化为延迟。
三颗2亿像素传感器可能导致三路高数据流同时工作，对ISP调度和内存带宽提出极高要求。
理论预测36 tokens/秒与实测31 tokens/秒之间约14%的差距主要来自内存读取未达峰值带宽、注意力机制的计算开销以及软件栈的调度损耗。
还有 20 条时间轴事件
全部知识事实 (20)
70B级别的模型即便经过量化，往往也需要40GB以上显存或多卡配置
75%已验证每写出一个token，Mac需要从内存中读取整个模型，因此内存带宽成为推理速度的根本上限
65%已验证运行本地AI模型通常需要8-16GB以上内存、较新的CPU或支持GPU加速的显卡以及足够存储空间
65%已验证自回归大模型推理瓶颈并非计算量而是内存带宽，推测解码通过拒绝采样保证输出分布与原始大模型完全一致
65%已验证自回归文本生成属于内存带宽受限任务，内存带宽而非算力峰值是真正的性能瓶颈
65%已验证大语言模型的推理过程本质上是内存带宽受限（memory-bandwidth bound）的任务，每生成一个Token都需要将模型的全部权重从存储中读取一遍
65%待验证内存带宽衡量单位时间能传输多少数据，内存延迟衡量一次访问需要等多久，两者对性能的影响路径完全不同。
50%待验证推理过程并非持续占用全部内存带宽：在两次请求之间，内存可能处于空闲状态。
50%待验证对终端设备而言，内存带宽影响端侧模型的响应速度和可承载的模型规模。
50%待验证内存带宽是衡量处理器与内存之间数据传输速率的指标，通常以GB/s为单位。
50%待验证在AI负载中，尤其是大模型推理阶段，内存带宽往往比纯算力更能决定实际性能，因为模型参数需要频繁在内存与计算单元之间搬运，带宽不足会导致计算单元空转。
50%待验证本地推理 LLM 的速度瓶颈往往在内存带宽而非纯算力，因为生成每个 token 都需要把全部权重过一遍。
50%待验证流式推理在每个时间步都要读写缓存状态，若状态张量较大或访问模式不连续，带宽压力会迅速转化为延迟。
50%待验证移动端 CPU 通常共享有限带宽的 LPDDR 内存，内存带宽是 Arm 边缘设备上常被忽视的瓶颈。
50%待验证三颗2亿像素传感器可能导致三路高数据流同时工作，对ISP调度和内存带宽提出极高要求。
50%待验证在内存带宽不变的情况下，升级CPU或增加核心数不会使本地大模型推理速度有实质性提升。
50%待验证本地AI的token生成速度理论上限公式为：最大速度（tokens/秒）≈ 内存带宽 ÷ 模型大小。
50%待验证理论预测36 tokens/秒与实测31 tokens/秒之间约14%的差距主要来自内存读取未达峰值带宽、注意力机制的计算开销以及软件栈的调度损耗。
50%待验证可以用模型大小除以内存带宽来粗略估算每秒生成的token数量。
50%待验证对本地推理而言，内存容量决定“能不能跑”，内存带宽决定“跑多快”。
50%