待验证50% 置信事实精确时间

该开源项目宣称经过 IQ3 量化的 125B 模型可在 12G 显存显卡加 32G 以上 CPU 内存的消费级硬件上运行

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/3

首次发现

有效期至：2027/1/1

来源

免费本地部署的开源大模型实测：消费级显卡也能跑

涉及实体

相关事实

待验证消费级硬件（如16GB内存的笔记本电脑）可以通过Ollama流畅运行7B-13B参数规模的开源模型73% 相似待验证该方案让16G显存显卡可以运行27B级别模型加192K上下文加视觉能力，但速度上限受硬件带宽约束72% 相似待验证8G显存运行27B模型依赖低比特量化与部分参数卸载策略，推理速度可能受限，追求速度的用户建议选择16G及以上显存版本69% 相似待验证IQ2_XS可以将模型压缩到接近2 bit/权重，使原本需要48GB显存的70B模型能塞入24GB消费级显卡68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/970279

API

curl https://kongchang.com/api/v1/knowledge/claims/970279

MCP

get_claim(id=970279)