#混合精度量化
共 46 篇相关文章
·18 分钟
开源AI助手对接OpenClaw龙虾实战：本地智能体配置全流程
详细讲解如何将开源AI助手对接OpenClaw龙虾，包含安装Robust AI、配置网关地址、获取API Key等完整步骤，实现具备持久化记忆的本地AI执行型智能体。
阅读全文 →
·11 分钟
Llama.cpp Windows本地部署教程：免编译三步运行大模型
详解Llama.cpp在Windows系统上的免编译本地部署方法。从下载预编译包、配置CUDA依赖到运行GGUF量化模型，三步完成大模型本地推理，支持GPU加速与Web界面，适合零基础用户快速上手。
阅读全文 →
·12 分钟
Gemini截图插件移植到DeepSeek：实现对话一键导出为图片
详解如何将Gemini浏览器截图插件移植到DeepSeek平台，实现AI对话一键导出为长图。涵盖html2canvas技术方案、页面渲染兼容性处理及跨平台插件移植的通用思路。
阅读全文 →
·8 分钟
Redis之父DS4引擎实测：128G Mac本地跑DeepSeek V4表现如何
Redis之父Antirez推出DS4推理引擎，通过非对称结构感知型量化将DeepSeek V4 Flash从284GB压缩至80-85GB，实现128GB Mac本地部署。本文实测贪吃蛇开发和STM32嵌入式编程两大场景，详解DS4的速度、工具调用稳定性及编码能力表现。
阅读全文 →
教程攻略·11 分钟
NVIDIA Model Optimizer训练后量化(PTQ)实战指南
深入解析NVIDIA Model Optimizer训练后量化(PTQ)工作流，涵盖INT8/INT4量化原理、校准方法、RTX GPU优化策略及大语言模型量化部署最佳实践，助你在消费级显卡上高效运行大模型。
阅读全文 →
前沿研究·9 分钟
SVDQuant：4-bit量化让扩散模型在消费级GPU上高效运行
SVDQuant是ICLR 2025 Spotlight论文，通过低秩分解吸收异常值实现扩散模型4-bit量化，显存降低75%。开源项目Nunchaku获3800+ Stars，让FLUX等大型图像生成模型在RTX 4060等中端显卡上流畅推理。
阅读全文 →