概念端侧自适应优化
端侧自适应算子
针对特定模型结构与目标硬件,在编译或运行时自动选择算子实现、分块大小、精度策略与显存布局的优化方式,需理解模型计算图与硬件显存层级。
时间轴 (近 90 天)
11月1日
端侧自适应算子指针对特定模型结构与目标硬件自动选择算子实现、分块大小、精度策略与显存布局的优化方式,常见手段包括算子融合、KV Cache分页管理、按硬件能力回退精度等。
待验证50%
针对特定模型结构与目标硬件,在编译或运行时自动选择算子实现、分块大小、精度策略与显存布局的优化方式,需理解模型计算图与硬件显存层级。
端侧自适应算子指针对特定模型结构与目标硬件自动选择算子实现、分块大小、精度策略与显存布局的优化方式,常见手段包括算子融合、KV Cache分页管理、按硬件能力回退精度等。