[控场AI]
概念LES

Lookahead Expert Scheduling

一种面向 MoE 模型端侧推理的专家调度技术,通过预测下一层所需专家并预加载权重,将闪存读取延迟隐藏在计算时间背后

时间轴 (近 90 天)

10月21日

LES 方案使专家权重体积缩小 26.7%,同时五项基准测试平均仅下降 0.16 分。

待验证50%
10月21日

Lookahead Expert Scheduling (LES) 技术在不改变模型实际路由逻辑的前提下,通过预测下一层可能需要的专家并预加载其权重,将专家权重从闪存搬运到计算的瓶颈隐藏起来。

待验证50%
10月21日

在 iPhone 18 Pro Max 上,LES 方案实现了 20.51 tok/s 的吞吐,相比 3.38 tok/s 的基线提速 6.07 倍。

待验证50%
10月21日

过去端侧大模型的优化重心多在量化与剪枝,而系统层的调度与预取同样能释放巨大空间。

待验证50%
10月21日

LES 的核心机制(预测下一层专家需求并预加载)并不绑定特定模型架构,只要 MoE 模型的路由模式具有一定可预测性,类似调度策略就可以迁移到其他 MoE 模型上。

待验证50%
10月21日

DSpark 是一种推测解码实现,与 LES 的专家预加载协同工作,进一步放大端侧吞吐收益。

待验证50%
10月12日

MiniCPM-V 4.7 35B-A3B 采用 Lookahead Expert Scheduling(LES)、细粒度逐层量化和 DSpark 推测采样三项组合技术实现端侧推理加速。

待验证50%

全部知识事实 (7)

来源文章