概念
LoopVQ
一种针对循环Transformer架构的KV缓存向量量化方法，通过联合编码多个循环步骤的通道并对码本进行微调，在极低位宽（0.5比特/元素）下保持模型性能
时间轴 (近 90 天)
11月4日
LoopVQ是一种针对循环架构的KV缓存向量量化方法，在0.5比特/元素的极低精度下仍能保持模型性能。
待验证50%
11月4日
LoopVQ通过联合编码多个循环步骤的通道来捕捉循环轴上的冗余，而非独立处理每个步骤。
待验证50%
11月4日
LoopVQ对码本进行微调，使量化后的输出对齐全精度模型的输出，以补偿量化误差。
待验证50%
11月4日
LoopVQ的实验基于Ouro和Huginn模型进行。
待验证50%
11月4日
LoopVQ与TaSQ结合时，在0.25比特/元素的极低比特率下仍能保留大部分BF16精度。
待验证50%
11月4日
研究团队在SGLang中实现了LoopVQ。
待验证50%
11月4日
在32K token上下文下，LoopVQ在SGLang实现中使解码延迟几乎减半。
待验证50%
11月4日
相比BF16基线，1.4B和2.6B的Ouro模型峰值服务吞吐分别提升了4.3倍和6.1倍。
待验证50%
全部知识事实 (8)
待验证
相比BF16基线，1.4B和2.6B的Ouro模型峰值服务吞吐分别提升了4.3倍和6.1倍。
50%待验证LoopVQ通过联合编码多个循环步骤的通道来捕捉循环轴上的冗余，而非独立处理每个步骤。
50%待验证LoopVQ对码本进行微调，使量化后的输出对齐全精度模型的输出，以补偿量化误差。
50%待验证LoopVQ的实验基于Ouro和Huginn模型进行。
50%待验证LoopVQ与TaSQ结合时，在0.25比特/元素的极低比特率下仍能保留大部分BF16精度。
50%待验证LoopVQ是一种针对循环架构的KV缓存向量量化方法，在0.5比特/元素的极低精度下仍能保持模型性能。
50%待验证在32K token上下文下，LoopVQ在SGLang实现中使解码延迟几乎减半。
50%待验证研究团队在SGLang中实现了LoopVQ。
50%