ComfyUI-INT4-Fast：6GB显卡流畅运行Flux大模型实测

INT4量化推理登陆ComfyUI

对于本地部署AI绘图模型的用户来说，显存始终是最大的瓶颈。近日，一位开发者在Reddit上分享了名为 ComfyUI-INT4-Fast 的自定义节点包，成功将INT4（W4A4，即权重4位、激活4位）量化推理带入ComfyUI生态——一张仅有6GB显存的RTX 3060，也能流畅运行Krea2 Turbo这类基于Flux的大模型。

所谓"量化"，是指将模型中原本以32位浮点数（FP32）或16位浮点数（FP16）存储的权重与激活值，压缩为更低位数的整数表示。W4A4中的"W"指Weight（权重），"A"指Activation（激活值），两者均被压缩至4位整数，理论上相比FP16可将显存占用降低至约1/4，并大幅提升计算吞吐量。从FP32到FP16的半精度过渡始于2017年前后，NVIDIA在Pascal/Volta架构中通过混合精度训练框架将其普及；INT8量化则在2018-2020年间随着TensorRT和ONNX Runtime的成熟而进入工业部署主流。W4A4代表的INT4方向，是当前学术界（如MIT的SmoothQuant、QuIP#）与工程界（如vLLM、TensorRT-LLM）共同推进的压缩极限，其难点在于激活值量化（A4）远比权重量化（W4）困难：权重在推理时是静态的，可以离线校准；而激活值是运行时动态产生的，分布因输入不同而剧烈变化，直接截断为4位极易引发精度崩溃。这也是W4A4方案长期停留在学术阶段、难以工程落地的核心原因。

值得一提的是，激活值分布问题在Transformer架构中尤为突出。研究者发现，Transformer中存在所谓"异常激活值"（outlier activations）——少数通道的激活值幅度可能比其他通道高出100倍以上，这使得统一的量化缩放因子要么压缩了正常值、要么无法覆盖极端值。SmoothQuant等方法通过数学变换将激活值的量化难度"平滑"转移至权重侧来缓解这一问题；而混合精度方案则选择直接绕过这些困难层，以更高精度处理之。这两种思路在ComfyUI-INT4-Fast中均有体现。

该项目在BobJohnson24的 ComfyUI-INT8-Fast 基础上独立改进而来，底层依托 comfy-kitchen 调用GPU的Tensor Core（张量核心），以硬件加速方式执行4位权重与激活的计算。Tensor Core本质上是一种专为矩阵乘累加（MMA）操作设计的协处理单元，与传统CUDA Core的标量/向量计算形成互补。NVIDIA从Volta架构（2017年）开始引入这一专用矩阵运算单元，在Ampere架构（RTX 30系列，SM80）中，单个Tensor Core可在一个时钟周期内完成一个8×16×16的INT4矩阵乘法，并获得了对INT8和INT4精度的原生支持。具体到RTX 3060：其INT4 Tensor Core理论峰值算力约为101 TOPS，而FP16仅约12.7 TFLOPS（含Tensor Core），差距达8倍以上。然而，激活这一潜力需要数据以特定内存布局（如NHWC格式）送入，且矩阵尺寸必须满足对齐要求——这正是comfy-kitchen调度层存在的工程价值：处理数据重排、填充（padding）等底层细节，使上层模型代码无需感知硬件约束，将模型计算任务精准路由至Tensor Core，从而将这部分此前几乎闲置的硬件算力真正释放出来。相比传统FP16或INT8方案，INT4在显存占用和推理速度上都有显著优势。

核心亮点：原生混合精度支持

该节点最值得关注的技术特性，是原生混合精度检查点（mixed-precision checkpoint）支持，这直接决定了量化后模型能否在极致压缩的同时保持画质。

混合精度检查点是指同一模型文件中不同层以不同数值精度存储的格式。这类检查点的生成通常有两条路径：一是训练后量化（PTQ，Post-Training Quantization），通过少量校准数据统计各层激活分布，自动识别敏感层并保留更高精度；二是量化感知训练（QAT，Quantization-Aware Training），在训练过程中引入伪量化节点，让模型主动适应低精度约束。对于Krea2这类已完成训练的大型扩散模型，通常采用PTQ路径生成混合精度检查点，而SafeTensors格式天然支持在同一文件中为不同张量指定不同数据类型（dtype），为存储提供了底层便利。

这一技术的核心洞察来自大量量化研究：神经网络中各层对精度损失的敏感程度差异显著。以Transformer架构的扩散模型为例，patch projection等输入投影层直接影响特征空间的初始表示，精度损失会被后续所有层持续放大；而中间主干的注意力与FFN模块则对低精度更为鲁棒。量化研究者通常用"Hessian矩阵迹"（Hessian trace）来量化这种敏感性——对损失函数曲率越大的层，参数微小扰动引发的输出变化越剧烈，因此越需要更高精度保护。这与量化感知训练（QAT）领域的混合精度搜索思路一脉相承——将有限的精度预算集中分配给"最值得保护"的层。

逐层动态路由机制

以运行Flux系模型（如Krea2）为例，节点加载时会动态解析模型元数据，并按**逐层（per-layer）**粒度决定计算路径：

• 主干模块（main blocks）：路由至速度最快的INT4 Tensor Core执行，最大化吞吐；
• 敏感层（patch projection layers）：以INT8格式存储的高敏感度层，自动导向Triton的INT8执行路径。

这种设计有两大价值：一是避免因精度不一致导致的维度不匹配错误（dimension mismatch）；二是将宝贵的精度预算留给对画质影响最大的层，在整体量化到4位的前提下仍能维持较高生成质量——这正是纯粹「一刀切」INT4量化难以企及的效果。

实测性能：6GB显卡的真实表现

开发者在一套平民配置上完成了测试，参考价值较高：

• 显卡：RTX 3060（6GB显存）
• 内存：32GB RAM
• 模型：预量化的Krea2 Turbo

Krea2 Turbo是基于Flux架构进一步蒸馏的加速版本。Flux由Black Forest Labs（Stable Diffusion原班团队）于2024年推出，采用流匹配（Flow Matching）训练范式替代传统DDPM扩散过程，在生成质量和文本遵循能力上均有显著提升。流匹配相比DDPM的核心优势在于其学习的是从噪声到图像的"直线"传输路径，而非DDPM的随机游走曲线——这使得更少的采样步数即可收敛到高质量结果，与低显存设备的适配性天然更好。Turbo变体则通过一致性蒸馏或对抗蒸馏技术，将所需推理步数压缩至个位数，是目前最适合低显存设备运行的Flux系模型之一。

测试参数与结果如下：

项目	数值
分辨率	1024×1024
步数	8步
采样器	Euler
调度器	Simple
LoRA	无
速度	1.78 s/it
总耗时	17.64秒

需要注意，首次生成需编译自定义Triton算子，耗时略长，后续运行会明显提速。Triton是OpenAI开源的GPU编程语言与编译器，专为编写高性能深度学习算子设计。其编译器的核心抽象是「程序（Program）」概念：开发者以Python语法描述计算逻辑，Triton负责将其编译为PTX（NVIDIA并行线程执行）中间表示，再由驱动层编译为最终机器码（SASS）。与CUDA相比，Triton更易于Python生态集成，且能自动生成针对当前GPU的最优tiling策略（tile size、warp数量等超参数），无需开发者为每款GPU手动维护多套实现。

Triton的JIT缓存机制尤为值得理解：它以一个复合哈希键来标识每份编译产物，该键涵盖GPU架构标识符（如sm_86代表Ampere）、CUDA驱动版本、输入张量的dtype、内存布局（stride）以及shape等信息。编译产物默认存储于~/.triton/cache目录，后续调用若命中缓存则完全跳过编译阶段直接加载二进制——这意味着首次编译耗时（通常30秒至数分钟不等）是一次性投资，且缓存跨进程、跨会话持久化。但需注意，更换GPU、升级CUDA驱动或修改算子代码都会导致缓存失效，触发重新编译。这是即时编译（JIT）方案的常见特征——完成首次「预热」后即可享受稳定的高速推理。

对于6GB这样被众多现代扩散模型判定为「不够用」的显存规格而言，能在18秒内完成一张1024×1024的8步生成，已具备相当实用的水准，让预算有限的用户也能体验Flux级模型的能力。

技术意义与使用建议

量化路线的持续演进

从FP16到INT8，再到如今的INT4（W4A4），本地推理量化路线正在快速下探。W4A4意味着权重和激活值均被压缩至4位，不仅大幅降低显存占用，还充分利用了Ampere及更新架构GPU上Tensor Core的低精度算力——在该架构中，INT4 Tensor Core的理论峰值算力是FP16的8倍，这一硬件潜力此前在主流推理框架中几乎从未被完整激活。混合精度路由的引入，则很好地回应了「过度量化损伤画质」这一核心担忧，代表了量化工程从「暴力压缩」走向「精细调控」的成熟化趋势。这一路径与大模型推理领域的GPTQ（Generalized PTQ）和AWQ（Activation-aware Weight Quantization）框架的演进高度一致：LLM量化领域已证明，理解各层激活分布特性、动态分配精度预算，是让低位量化真正可用的关键。扩散模型量化工具链正在快速借鉴这些成果。

上手资源

项目资源已全部开源，感兴趣的用户可直接尝试：

• 自定义节点（GitHub）：github.com/viralvfx/ComfyUI-INT4-Fast
• 测试模型（Hugging Face）：comfyanonymous/int4_tests 下的 krea2_turbo_convrot_int4_fast.safetensors

值得关注的问题

作为较新的社区项目，以下几点仍需留意：首次编译耗时较长；依赖特定GPU架构——需支持INT4/INT8 Tensor Core的Ampere或更新代际显卡，而Turing架构（RTX 20系列，SM75）的情况值得单独说明：Turing虽引入了Tensor Core的INT8支持，但其INT4支持仅限于特定子精度模式（sub-byte precision），在计算能力和驱动层的暴露程度上不及Ampere完整，PTX层面对INT4指令的系统支持也更为有限，因此难以可靠复现开发者测试中的性能数据。Ada Lovelace（RTX 40系列）和Hopper（H系列）则在Ampere基础上进一步引入了FP8原生支持，代表了下一阶段的量化精度前沿。此外，兼容性与画质稳定性尚待更广泛验证，开发者也明确邀请社区反馈使用中遇到的问题。

结语

ComfyUI-INT4-Fast代表了本地AI绘图在「低成本、高效率」方向上的又一次务实探索。它没有追求极端的理论压缩率，而是通过逐层混合精度的工程手段，在显存、速度与画质之间取得了可用的平衡。这一思路与大模型推理领域（如LLM的GPTQ、AWQ等量化方案）的演进轨迹高度一致：真正落地的量化方案，从不是简单地将所有数值截断到低位，而是在理解模型结构敏感性的基础上做出精细的精度分配决策。对于手握入门级显卡、又希望运行Flux系模型的用户而言，这类开源项目正在不断拉低门槛，值得持续关注。

核心要点

核心要点