#MoE模型

共 4 篇相关文章

Mac Studio M3 Ultra 96GB 本地运行 Qwen3.5-122B-A10B，担任家庭财务分析师。详解 MoE 模型部署、事实核查流水线、以及大模型给出自信但错误建议时的修复方案。

开发者用8GB RTX 5060运行120B Nemotron-3.5-Super MoE模型，达到8.2 tok/s。核心洞察：按字节每token计算，跳过ReLU²零值，发现真正瓶颈是NVMe读取而非Python开销。

llama.cpp 提交 PR #29887，为存放在主机内存中的 MoE 专家权重添加 GPU 缓存，有望为显存不足的用户带来显著推理提速。解析其技术思路与适用场景。

Naive-N0.5-Flash开源模型实测解析：309B MoE、100万上下文、2000 token/s，宣称由AI训练。实测发现其基于小米MiMo-V2.5二次训练，技术均为成熟开源方案，「AI造AI」更像营销噱头。