待验证50% 置信基准精确时间
Mixtral-8x7B以47B总参数达到了接近70B稠密模型的性能，但拥有更快的推理速度
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/7
首次发现
有效期至：2026/12/6
来源
涉及实体
相关事实
已验证Mixtral 8x7B模型拥有8个专家，每个Token只激活2个，总参数量达到47B，但单次推理的计算量仅相当于一个13B参数的稠密模型78% 相似待验证Mixtral 8×22B 拥有 141B 总参数，但每次推理仅激活约 39B75% 相似待验证MoE架构中Mixtral 8x7B模型总参数46.7B,但每个token仅激活约12.9B参数(2个专家),推理成本接近13B参数的稠密模型,性能可媲美70B级别70% 相似已验证模型参数量越大，对量化的鲁棒性越强，使得70B级别模型在4-bit量化后仍能保持接近FP16的性能68% 相似待验证一款约27B参数的模型在笔记本上跑出了52分的成绩，显示高质量模型正向端侧和轻量化设备渗透68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/871390API
curl https://kongchang.com/api/v1/knowledge/claims/871390MCP
get_claim(id=871390)