内存墙
当芯片算力增长速度快于内存带宽增长速度时，内存访问成为系统整体性能瓶颈的现象
核心事实
时间轴 (近 90 天)
当前AI芯片（如GPU）的算力增长远超内存带宽的提升，形成了「内存墙」问题。
HBM、近存计算（Processing-in-Memory）以及更大的片上缓存，都是缓解内存墙的技术路径。
衡量内存墙瓶颈的常用指标是「算术强度」，即每字节内存访问对应的浮点运算次数。
内存墙指芯片算力增长快于内存带宽增长时，实际性能被内存访问速度而非计算能力卡住的现象。
内存带宽是大模型推理延迟的主要瓶颈之一，计算单元往往处于等待数据加载状态，这一现象称为「内存墙」
计算能力在过去十年飞速跃升，但内存带宽和存储I/O的增速明显滞后，形成了'内存墙'（Memory Wall），成为制约AI系统整体性能的关键瓶颈
对于CNN推理,如果中间结果频繁写回内存再读取,会导致大量缓存未命中,性能可能降低10倍以上
全部知识事实 (8)
内存墙指芯片算力增长快于内存带宽增长时，实际性能被内存访问速度而非计算能力卡住的现象。
65%待验证大模型推理是典型的内存带宽密集型任务，GPU计算核心往往处于等待数据的状态
85%待验证计算能力在过去十年飞速跃升，但内存带宽和存储I/O的增速明显滞后，形成了'内存墙'（Memory Wall），成为制约AI系统整体性能的关键瓶颈
60%待验证当前AI芯片（如GPU）的算力增长远超内存带宽的提升，形成了「内存墙」问题。
50%待验证衡量内存墙瓶颈的常用指标是「算术强度」，即每字节内存访问对应的浮点运算次数。
50%待验证HBM、近存计算（Processing-in-Memory）以及更大的片上缓存，都是缓解内存墙的技术路径。
50%待验证内存带宽是大模型推理延迟的主要瓶颈之一，计算单元往往处于等待数据加载状态，这一现象称为「内存墙」
50%待验证对于CNN推理,如果中间结果频繁写回内存再读取,会导致大量缓存未命中,性能可能降低10倍以上
50%