Ouro

LoopVQ的实验基于Ouro和Huginn模型进行。

相比BF16基线，1.4B和2.6B的Ouro模型峰值服务吞吐分别提升了4.3倍和6.1倍。

Ouro模型在每次循环中保留独立的KV缓存，导致缓存大小随循环次数线性增长。

在Ouro模型上，量化敏感度在不同（循环，层）单元间存在显著差异，且各个单元单独造成的损害之和可以近似整体输出损害。

研究团队在Ouro、Raven和Huginn三个模型家族的六个检查点上评估了CopyLoop，任务覆盖代码生成和多步数学推理。