#SVDQuant

SVDQuant：4-bit量化让扩散模型在消费级GPU上高效运行

SVDQuant是ICLR 2025 Spotlight论文，通过低秩分解吸收异常值实现扩散模型4-bit量化，显存降低75%。开源项目Nunchaku获3800+ Stars，让FLUX等大型图像生成模型在RTX 4060等中端显卡上流畅推理。