EXL3
面向NVIDIA GPU优化的大语言模型量化容器格式，支持精细化权重量化，适用于高性能本地推理场景
时间轴 (近 90 天)
测试基于Qwen3.8-27B模型，使用EXL3 4.0bpw量化、DFlash2块草稿器（EXL3 4bpw，7-token草稿），贪心解码，在2块T4显卡上运行。
DeepSeek-V4.1-Flash 有 763B 参数，BF16 权重约 1.5 TB，官方 FP4/FP8 checkpoint 是 475.2 GiB，coolbho3k 的 3-bit EXL3 包压到 309.3 GiB。
EXL3 是 ExLlamaV3 引入的一种 3-bit 量化格式，属于 EXL2 的后继；ExLlamaV3 是 turboderp 维护的推理库；vllm-exl3 是 Victor Cruz 写的桥接层，将 ExLlamaV3 的量化 kernel 接入 vLLM 的调度和 PagedAttention 体系。
EXL3使用源自QTIP的向量与网格量化，在相同比特数下比标量舍入保留更多信息
全部知识事实 (4)
测试基于Qwen3.8-27B模型，使用EXL3 4.0bpw量化、DFlash2块草稿器（EXL3 4bpw，7-token草稿），贪心解码，在2块T4显卡上运行。
50%待验证DeepSeek-V4.1-Flash 有 763B 参数，BF16 权重约 1.5 TB，官方 FP4/FP8 checkpoint 是 475.2 GiB，coolbho3k 的 3-bit EXL3 包压到 309.3 GiB。
50%待验证EXL3 是 ExLlamaV3 引入的一种 3-bit 量化格式，属于 EXL2 的后继；ExLlamaV3 是 turboderp 维护的推理库；vllm-exl3 是 Victor Cruz 写的桥接层，将 ExLlamaV3 的量化 kernel 接入 vLLM 的调度和 PagedAttention 体系。
50%待验证EXL3使用源自QTIP的向量与网格量化，在相同比特数下比标量舍入保留更多信息
50%