#大模型本地部署

74B大模型塞进24GB显存：一张4090本地免费跑

740亿参数大模型压缩至24GB显存，一张RTX 4090即可本地免费运行。采用稀疏混合专家+二比特量化感知训练，权重训练数据方案全开源，支持Ollama一键部署。