bitsandbytes
一个用于深度神经网络量化和加速的开源库，支持8位和4位量化（如NF4），常用于大模型低显存推理。
时间轴 (近 90 天)
Unsloth的3bit量化并非标准bitsandbytes配置，通常指其自研的非对称量化方案，可将7B级模型权重压到约3GB。
不同量化格式（GGUF、AWQ、GPTQ、bitsandbytes）的元数据开销和布局各不相同，加载时的内存峰值也可能不同。
据 Transformers 的 bitsandbytes 文档，量化线性层和其他模块是分开处理的，权重存储与计算 dtype 是两回事。
Python 侧单提示 model.generate 在 32K 上下文下对 Llama 和 Qwen3 模型提速最高 2.7 倍；bitsandbytes 4-bit 模型一次生成 2 到 4 个提示时，在某些 NVIDIA GPU 上提速最高 2.8 倍。
在相同测试中，bf16基线以31.3 tok/s的速度超过了自研W4内核（25.5 tok/s）和bitsandbytes NF4（25.7 tok/s），达到理论roofline的29.8%。
在RTX 3060上，开发者用Triton手写的面向batch-1解码的融合W4A16 GEMV内核速度约为25.5 tok/s，追平了bitsandbytes NF4量化方案的约25.7 tok/s。
自研W4内核的困惑度（probe ppl）为15.76，优于bitsandbytes NF4的18.98。
Pascal架构对应CUDA计算能力6.x，而vLLM、bitsandbytes等现代推理框架已将最低支持版本提升至7.0，部分功能要求8.0以上
主流量化工具链包括llama.cpp（GGUF格式）和bitsandbytes
常见的量化工具包括GPTQ、AWQ和bitsandbytes
还有 1 条时间轴事件
全部知识事实 (9)
Transformers框架原生支持bitsandbytes、GPTQ、AWQ等主流量化方案
90%待验证Transformers库集成了GPTQ、AWQ、bitsandbytes等量化技术和Flash Attention加速方案
90%待验证Unsloth的3bit量化并非标准bitsandbytes配置，通常指其自研的非对称量化方案，可将7B级模型权重压到约3GB。
50%待验证据 Transformers 的 bitsandbytes 文档，量化线性层和其他模块是分开处理的，权重存储与计算 dtype 是两回事。
50%待验证不同量化格式（GGUF、AWQ、GPTQ、bitsandbytes）的元数据开销和布局各不相同，加载时的内存峰值也可能不同。
50%待验证Pascal架构对应CUDA计算能力6.x，而vLLM、bitsandbytes等现代推理框架已将最低支持版本提升至7.0，部分功能要求8.0以上
50%待验证主流量化工具链包括llama.cpp（GGUF格式）和bitsandbytes
50%待验证常见的量化工具包括GPTQ、AWQ和bitsandbytes
50%待验证flash-attention、xformers、bitsandbytes等高性能加速库通常只提供Linux预编译wheel，在Windows上需要从源码编译
50%