MAEP：模态感知专家剪枝，让MoE多模态大模型塞进单卡40GB

多模态大模型的能力在快速膨胀，但显存账单也在同步膨胀。MoE（混合专家）架构本是为了在扩大参数规模的同时控制计算量，可专家参数依然是内存占用的绝对大头。一篇新论文提出的 MAEP 框架，试图从"模态"这个此前被忽视的角度切入专家剪枝，在不重新训练的前提下，把约 58 GB 的模型压进单张 40 GB GPU。

MoE 的结构性矛盾：只激活少数专家，却要装下全部专家

MoE 的核心机制是每个 token 只路由到少数几个专家，计算量因此可控。但推理时所有专家参数都必须驻留在显存里——现代 MoE 多模态大模型中，专家参数占模型体积的九成以上。论文给出的例子很直观：InternVL3.5-30B-A3B 和 Qwen3-VL-30B-A3B 在 BF16 下总占用约 58 GB，其中 54 GB 是专家权重。

这意味着，稀疏激活省下的是算力，省不下的却是内存。对于想在单卡上部署这类模型的团队，专家剪枝几乎成了必选项：把贡献低的专家直接删掉，模型结构不变，显存和部分计算同时下降。

MoE 的路由与稀疏激活机制

MoE 层通常由一组并行的前馈网络（即“专家”）和一个门控网络（Router）组成。对每个输入 token，门控网络输出各专家的得分，再通过 Top-K 选择只激活得分最高的 K 个专家（常见 K=1 或 2），并按门控权重对这几个专家的输出加权求和。未被选中的专家在该 token 的前向计算中完全不参与，这正是“稀疏激活”的来源：模型总参数量可以做到很大，但每个 token 的实际浮点运算量只与激活的少数专家相关。也正因如此，MoE 能在不显著增加单 token 计算成本的前提下扩展模型容量。然而这种稀疏性只作用于计算路径，不作用于存储——所有专家的权重在推理时都必须可被随时调用，因此显存占用由总参数量而非激活参数量决定，形成了“算力省、内存不省”的结构性矛盾。

现有剪枝方法的盲点：把视觉和语言 token 一视同仁

已有的专家剪枝方法大多按 token 聚合重要性，统一评估每个专家有多"重要"，然后全局排序裁掉尾部。问题在于，这种聚合抹平了一个关键差异：同一个专家在视觉处理和语言处理中扮演的角色可能完全不同。

对纯文本模型来说这无关紧要，但对多模态模型，视觉 token 与文本 token 在数量、信息密度、注意力分布上差异巨大。统一聚合会让数量占优或注意力更强的某一模态主导剪枝决策，另一个模态上真正有用的专家可能被误伤。

专家剪枝与免训练剪枝

专家剪枝属于结构化剪枝的一种：它直接删除整个专家（连同其权重和路由条目），而非对单个权重做稀疏化，因此能实打实地降低显存占用和部分计算量，且不需要特殊的稀疏计算库支持。按是否重新训练，可分为两类。训练式剪枝在删除专家后做微调或蒸馏以恢复性能，效果通常更好但成本高；免训练剪枝则依赖一次或少量前向传播估计各专家的重要性，直接按排序裁剪，不更新任何参数。免训练方法的关键在于重要性估计是否准确、是否对校准数据敏感——如果换一批校准数据得到的专家排序就大幅变化，剪枝决策就缺乏可信度。MAEP 正是沿这条路线，用量化“删除后果”的指标替代简单的路由统计。

MAEP 的两个核心设计

MAEP（Modality-Aware Expert Pruning）是一个免训练框架，只需一次前向传播就能按模态拆解专家重要性。它包含两个关键组件：

Delta-H Output：衡量"删掉这个专家会怎样"

ΔH 是一个考虑了重分配效应的指标，直接度量移除某个专家后 MoE 层输出的变化幅度。相比只看路由权重或激活频率的做法，它更贴近剪枝的实际后果——专家被删后，token 会被重新分配给其他专家，输出变化才是真正影响模型行为的量。

低注意力视觉 token 作为视觉侧剪枝信号

论文发现，低注意力的视觉 token 可以作为视觉侧的重要性信号，而且这个信号具有数据集稳定性：在不同数据集上，基于它得到的专家重要性排序保持一致。这一点很关键——免训练剪枝方法最怕的就是重要性估计随校准数据漂移，排序稳定意味着剪枝决策对数据分布不敏感，工程上更可信。

两个信号的分工也很明确：文本侧重要性作为保护信号，视觉侧重要性作为剪枝信号，专家在各层之间进行全局排序。

视觉 token 的冗余性与注意力分布

在多模态大模型中，图像经视觉编码器切分成大量 patch token（一张高分辨率图片可产生数百到数千个 token），数量往往远超文本 token。这些视觉 token 的信息密度高度不均：大部分 patch 属于背景或纹理重复区域，对最终回答贡献很小，而少数关键区域承载了主要语义。这种冗余在注意力图上表现为显著的长尾分布——少数视觉 token 获得高注意力，其余大量 token 注意力很低。已有工作利用这一特性做视觉 token 压缩（如按注意力筛选保留关键 token），MAEP 则把它进一步用作专家重要性的代理信号：在低注意力视觉 token 上贡献小的专家，可视为对视觉处理不重要。这种信号之所以稳定，是因为视觉冗余结构在不同数据集间具有共性，不随具体样本内容剧烈变化。

实验结果：多模态基准占优，单卡装下全量权重

论文在三个 MoE 多模态模型上做了多模态与纯文本基准测试。结果显示，MAEP 在多数多模态基准上优于模态无关的基线方法，同时在纯文本任务上保持竞争力——后一点很重要，按模态拆解重要性并没有以牺牲语言能力为代价。

内存收益是最具说服力的部分：BF16 下专家权重占用减少约 27 GB，约占总内存的 47%，使约 58 GB 模型的全部权重可以装进单张 40 GB GPU。对部署侧而言，这相当于把一个需要多卡或大显存的模型拉到了消费级/单卡服务器硬件的门槛内。

代码已开放在 https://github.com/nota-github/MAEP。

一点观察

MAEP 的思路指向一个更普遍的问题：多模态模型的压缩策略是否需要按模态分别设计。过去剪枝、量化、蒸馏大多沿用文本模型的假设，而视觉 token 的冗余结构、注意力分布与文本截然不同。把模态差异显式建模进重要性评估，是一个成本低、收益直接的方向。免训练这一点也降低了落地门槛——不需要重训，一次前向即可完成重要性估计，对已有模型的适配更友好。

值得留意的是，论文的验证集中在三个模型上，剪枝比例与性能之间的权衡曲线、以及极端压缩下的退化情况，还需要更多实践检验。但从"58 GB 到单张 40 GB"这一步来看，方向已经被验证可行。

剪枝比例与性能的权衡

专家剪枝中存在一条隐性的权衡曲线：剪得越少，性能损失越小但显存收益有限；剪得越多，显存下降明显但可能触及模型的能力底线。实践中通常以“剪枝比例”为横轴、基准得分为纵轴绘制曲线，寻找性能开始陡降的拐点作为工作点。不同层对剪枝的敏感度并不一致——浅层专家往往承担更通用的特征提取，深层专家则可能更专门化，因此多数方法采用全局排序而非逐层等比例裁剪。此外，极端压缩下的退化往往不是平滑的，而可能在某个阈值后突然崩塌，这正是论文将验证集中在中等剪枝比例、并把极端情况留待后续检验的原因。