概念Tiling / Chunking
分块处理
应对显存瓶颈的工程手段,将模型层或数据张量切成小块逐块计算再拼接,以降低峰值显存占用
时间轴 (近 90 天)
11月4日
分块处理(Tiling/Chunking)通过将模型层或数据张量切成小块逐块计算再拼接,把峰值显存占用压到单块所需水平,代价是块间额外调度与同步导致计算效率略有下降。
待验证50%
9月25日
分块数量可填2、4、8,分的块数越多对显存要求越低但处理耗时越长,本质是拿时间换显存
待验证50%
应对显存瓶颈的工程手段,将模型层或数据张量切成小块逐块计算再拼接,以降低峰值显存占用
分块处理(Tiling/Chunking)通过将模型层或数据张量切成小块逐块计算再拼接,把峰值显存占用压到单块所需水平,代价是块间额外调度与同步导致计算效率略有下降。
分块数量可填2、4、8,分的块数越多对显存要求越低但处理耗时越长,本质是拿时间换显存