原论文的实验发现，模型适应过程中的权重更新本质上是低秩的，即便将秩设为r=1或r=2，仅应用于注意力机制中的query和value矩阵，在部分任务上也能取得相当不错的效果。