#模型剪枝

MoE模型专家边界之外：神经元级专业化与剪枝新发现

新研究提出RAMP方法，从神经元级视角揭示MoE模型领域专化机制，并开发RAMPr剪枝技术，在75%保留率下维持91-98%性能，50%保留率下减少36-43% GPU内存。