#量化感知训练

ResQAdam：残差保留的自适应优化器，大幅降低QAT内存开销

ResQAdam优化器通过保留QAT动量残差的符号信息，在低秩框架下实现接近AdamW的精度，同时减少71%-74%的优化器状态内存，吞吐量损失小于2%。