已过期50% 置信基准精确时间
在 16GB Tesla T4 上运行 Qwen3-30B-A3B（18.6GB），使用 MoE 缓存后解码速度从默认的 22.6 tokens/s 提升到 43.2 tokens/s。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/18
首次发现
此条事实已过期，仅作历史留存，不再代表当前状态
有效期至：2026/11/1(已过期)
来源
涉及实体
相关事实
待验证按高功耗加MLX或Ollama的公开数据，M4 Max上不同模型的解码速度大致阶梯为：Nemotron 3 Nano约160 tokens/s，Qwen 3.5 35B在107到130 tokens/s，Gemma 4 26B约75 tokens/s，DeepSeek V4 Flash约27 tokens/s，稠密27B约22 tokens/s71% 相似待验证Qwen3 27B 的 4bit 量化版权重仅约 16.1G，可在 32G 内存的 MacBook Pro/Mac Studio 或约 17G 显存的消费级显卡上运行71% 相似待验证MiniCPM-V 4.7 35B-A3B 在 iPhone 17 Pro Max 上实现了 13+ tokens/s 的解码速度。71% 相似部分验证LFM2.5-24B-A2B 在 Apple M5 Max 上解码速度达到 184 tokens/s。70% 相似待验证在单台 512GB 内存的 Mac Studio 上，128B 的 Mistral Medium 3.5（FP8）和 27B 的 Qwen 3.8（BF16）在 65536 tokens 上下文下分别占用约 158GB 和 68GB 内存。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1060504API
curl https://kongchang.com/api/v1/knowledge/claims/1060504MCP
get_claim(id=1060504)