待验证50% 置信事实精确时间
AWQ 和 GPTQ 是目前 Serverless 部署场景下最常用的两种量化格式，vLLM、TGI 等主流推理框架均已原生支持
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/12
首次发现
有效期至：2026/12/11
来源
涉及实体
相关事实
已验证推理框架如 vLLM、llama.cpp、TGI 可用于开放权重模型的本地部署72% 相似待验证开源模型配合量化技术（如GGUF格式）和推理框架（如vLLM、Ollama），使得在消费级硬件上本地部署成为可能68% 相似待验证围绕LLaMA发展出的开源生态包括量化工具GPTQ、GGML，微调框架LoRA，推理引擎llama.cpp和vLLM，使消费级显卡就能运行具有相当能力的语言模型65% 相似待验证轻量化部署通常涉及模型量化（INT4/INT8）、推理框架选型（如llama.cpp、vLLM）以及接口服务化封装65% 相似待验证开源多模态模型包括LLaVA、MiniCPM-V、InternVL、Qwen-VL等64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/912012API
curl https://kongchang.com/api/v1/knowledge/claims/912012MCP
get_claim(id=912012)