Lookahead Expert Scheduling
一种面向 MoE 模型端侧推理的专家调度技术,通过预测下一层所需专家并预加载权重,将闪存读取延迟隐藏在计算时间背后
时间轴 (近 90 天)
LES 方案使专家权重体积缩小 26.7%,同时五项基准测试平均仅下降 0.16 分。
Lookahead Expert Scheduling (LES) 技术在不改变模型实际路由逻辑的前提下,通过预测下一层可能需要的专家并预加载其权重,将专家权重从闪存搬运到计算的瓶颈隐藏起来。
在 iPhone 18 Pro Max 上,LES 方案实现了 20.51 tok/s 的吞吐,相比 3.38 tok/s 的基线提速 6.07 倍。
过去端侧大模型的优化重心多在量化与剪枝,而系统层的调度与预取同样能释放巨大空间。
LES 的核心机制(预测下一层专家需求并预加载)并不绑定特定模型架构,只要 MoE 模型的路由模式具有一定可预测性,类似调度策略就可以迁移到其他 MoE 模型上。
DSpark 是一种推测解码实现,与 LES 的专家预加载协同工作,进一步放大端侧吞吐收益。
MiniCPM-V 4.7 35B-A3B 采用 Lookahead Expert Scheduling(LES)、细粒度逐层量化和 DSpark 推测采样三项组合技术实现端侧推理加速。
全部知识事实 (7)
LES 方案使专家权重体积缩小 26.7%,同时五项基准测试平均仅下降 0.16 分。
50%待验证Lookahead Expert Scheduling (LES) 技术在不改变模型实际路由逻辑的前提下,通过预测下一层可能需要的专家并预加载其权重,将专家权重从闪存搬运到计算的瓶颈隐藏起来。
50%待验证在 iPhone 18 Pro Max 上,LES 方案实现了 20.51 tok/s 的吞吐,相比 3.38 tok/s 的基线提速 6.07 倍。
50%待验证过去端侧大模型的优化重心多在量化与剪枝,而系统层的调度与预取同样能释放巨大空间。
50%待验证LES 的核心机制(预测下一层专家需求并预加载)并不绑定特定模型架构,只要 MoE 模型的路由模式具有一定可预测性,类似调度策略就可以迁移到其他 MoE 模型上。
50%待验证DSpark 是一种推测解码实现,与 LES 的专家预加载协同工作,进一步放大端侧吞吐收益。
50%待验证MiniCPM-V 4.7 35B-A3B 采用 Lookahead Expert Scheduling(LES)、细粒度逐层量化和 DSpark 推测采样三项组合技术实现端侧推理加速。
50%