待验证50% 置信事实精确时间
Strata是一个本地推理引擎，可以将180B级别的MoE模型运行在12GB显存的消费级显卡上
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至：2027/1/3
来源
涉及实体
相关事实
待验证Strata是一个开源推理运行时，能在RTX 5070（12GB显存）上运行1250亿参数的Qwen3.8 Flash Next模型，输出速度约为每秒90个Token68% 相似待验证Strata提供多个量化档位：66GB的Q20（最快）、68GB的IQ2XS（平衡）、76GB的IQ3XS（质量最好），测试使用IQ3S为83.6GB64% 相似已验证一个原本需要60GB显存的30B参数模型，经过量化后能在16GB甚至8GB显存的消费级显卡上运行62% 相似待验证Ollama支持GGUF格式的量化模型，可以在消费级硬件（如16GB内存的笔记本电脑）上流畅运行7B-13B参数规模的模型61% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/978623API
curl https://kongchang.com/api/v1/knowledge/claims/978623MCP
get_claim(id=978623)