概念
IQ2
llama.cpp/GGUF生态中的2-bit量化格式,通过重要性加权与混合精度方式在极低位宽下尽量保留关键权重精度,通常配合量化感知训练使用。
时间轴 (近 90 天)
10月31日
GSQ-RCO-IQ2_XS、Q8_K_XL等命名属于llama.cpp的GGUF量化格式,数字越小表示权重压缩越激进(IQ2约为2比特级)。
待验证50%
10月15日
Nemotron 3.5 Bolt 使用原生 2-bit 量化(IQ2,带量化感知训练 QAT)将模型压缩进 24GB 显存,可在一块消费级或单卡工作站上运行。
待验证50%