[控场AI]
概念LoRA adapter

LoRA适配器

基于LoRA方法训练得到的低秩权重增量模块,可附加到基础模型上实现任务特定微调,参数量仅为原模型0.1%–1%。

时间轴 (近 90 天)

11月4日

研究者通过计算适配器更新矩阵的主成分并追踪其随λ变化的动态,当λ使教师停止思考时更新子空间中某些方向发生显著偏移,该偏移点对应教师思考行为的消失。

待验证50%

全部知识事实 (1)

来源文章