概念LoRA adapter
LoRA适配器
基于LoRA方法训练得到的低秩权重增量模块,可附加到基础模型上实现任务特定微调,参数量仅为原模型0.1%–1%。
时间轴 (近 90 天)
11月4日
研究者通过计算适配器更新矩阵的主成分并追踪其随λ变化的动态,当λ使教师停止思考时更新子空间中某些方向发生显著偏移,该偏移点对应教师思考行为的消失。
待验证50%
基于LoRA方法训练得到的低秩权重增量模块,可附加到基础模型上实现任务特定微调,参数量仅为原模型0.1%–1%。
研究者通过计算适配器更新矩阵的主成分并追踪其随λ变化的动态,当λ使教师停止思考时更新子空间中某些方向发生显著偏移,该偏移点对应教师思考行为的消失。