概念
SpinQuant
一种学习型正交旋转量化方法，在量化校准阶段通过迭代优化学习旋转矩阵，量化效果优于固定变换方法，但需要额外的优化过程，GPU显存和时间开销较高
时间轴 (近 90 天)
10月15日
现有正交变换方法大致分两类：数据无关的固定变换（如Hadamard旋转）和校准阶段学习出来的旋转矩阵（如SpinQuant和DartQuant）。
待验证50%
10月15日
学习型旋转方法（如SpinQuant和DartQuant）在量化前需要反复迭代优化旋转矩阵，显存占用高、耗时长。
待验证50%
10月15日
SpectrumQuant的GPU显存需求不到学习型旋转方法（如SpinQuant）的三分之一，时间开销也显著更少。
待验证50%
10月15日
SpectrumQuant提供了一个不需要像SpinQuant那样跑完整优化流程、却能获得接近效果的PTQ部署选项。
待验证50%
8月31日
Meta的研究团队在2024年提出SpinQuant方法，试图在更低精度下保持模型能力
待验证50%
全部知识事实 (5)
待验证
现有正交变换方法大致分两类：数据无关的固定变换（如Hadamard旋转）和校准阶段学习出来的旋转矩阵（如SpinQuant和DartQuant）。
50%待验证学习型旋转方法（如SpinQuant和DartQuant）在量化前需要反复迭代优化旋转矩阵，显存占用高、耗时长。
50%待验证SpectrumQuant的GPU显存需求不到学习型旋转方法（如SpinQuant）的三分之一，时间开销也显著更少。
50%待验证SpectrumQuant提供了一个不需要像SpinQuant那样跑完整优化流程、却能获得接近效果的PTQ部署选项。
50%待验证Meta的研究团队在2024年提出SpinQuant方法，试图在更低精度下保持模型能力
50%