待验证50% 置信事实精确时间
MoE模型采用稀疏激活，Qwen 3.5 122B总参数122B但每次推理仅激活约10B，需将全部参数加载进内存，对内存容量极度敏感
1
来源数
50%
置信度
长期有效
时效性
2026/7/12
首次发现
来源
AMD Ryzen AI Halo实测：x86架构能否撼动英伟达DGX Spark？
bilibili量子菠萝_2026/7/7
相关事实
待验证一个原始需要80GB显存的700亿参数模型经4-bit量化（Q4_K_M档）后仅需约40GB内存，推理质量在多数基准测试中损失通常在3%-8%以内71% 相似待验证传统LLM推理引擎在处理KV Cache时存在严重的内存碎片问题，对于13B参数模型，单个请求的KV Cache可能占用数GB内存，而实际利用率可能低于50%69% 相似待验证Qwen3系列中有一个总参数量2.4T、激活参数约95B的MoE模型，模型文件下载需约5TB存储空间68% 相似待验证MoE与量化技术结合可使16GB内存的笔记本运行数百亿参数的MoE模型成为可能68% 相似待验证量化格式可将70B参数模型的运行内存从140GB压缩至40GB以内68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/488919API
curl https://kongchang.com/api/v1/knowledge/claims/488919MCP
get_claim(id=488919)