LoRA
LoRA（Low-Rank Adaptation，低秩适应）是一种参数高效的大型模型微调技术。其核心思想是在预训练模型的权重矩阵旁引入低秩分解矩阵，通过仅训练少量新增参数而冻结原始模型权重，从而以较低的计算和存储成本实现模型的任务适配。LoRA广泛应用于大型语言模型和图像生成模型的定制化微调领域。
核心事实
时间轴 (近 90 天)
LoRA和QLoRA只更新少量附加参数而非整个模型，相比全量微调显著降低内存和存储需求。
Hugging Face库支持将DPO与LoRA结合进行偏好调优。
当秩r取4到64时，LoRA的可训练参数量通常只有原参数的千分之一量级。
文生图模型生成自拍时，角色一致性通常依靠参考图或角色LoRA来约束。
Unsloth v0.1.913-beta 中，MoE 模型上的兼容 LoRA 和 QLoRA 任务可以一起训练，例如 Qwen3.6-35B-A3B，每个任务拥有自己的适配器
一项针对LoRA适配模型的研究揭示，惊讶度驱动的学习器几乎会吸收所有精心构造的虚假声明，其被污染率与同等预算下的随机选择相差无几。
稀疏微调是一类通过掩码选择参数子集进行更新的方法，代表工作包括diff pruning、Frank-Wolfe式稀疏微调以及基于Lottery Ticket的子网络微调；与LoRA等结构化低秩方法相比，参数量可压缩到更低比例，且不改变模型结构，推理时无需额外适配器合并。
基于LoRA的参数高效对抗微调方法相较于全参数对抗训练在鲁棒性上仍有明显差距。
在多种网络架构和数据集上，SAFT在干净精度和鲁棒精度上同时领先基于LoRA的方法，且可训练参数更少。
在16GB GPU上可以微调Qwen系列的中小规模模型，借助参数高效微调技术（如LoRA）和量化技术实现。
还有 40 条时间轴事件
全部知识事实 (20)
LoRA通过只训练少量适配层（低秩矩阵旁路训练）来降低微调成本
90%已验证LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%
90%已验证LoRA（Low-Rank Adaptation）由微软于2021年提出，其核心思想是冻结预训练模型的权重，仅训练注入的低秩分解矩阵
90%已验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量
90%已验证Unsloth是专注于大模型量化与微调加速的开源工具团队，为主流开源模型提供GGUF量化版本
85%已验证QLoRA由华盛顿大学的研究团队在2023年提出，将基础模型权重量化为4-bit（NF4格式）
85%已验证微调（Fine-tuning）是指在通用文本预训练完毕的基础模型之上，使用特定领域标注数据进行二次训练以调整模型参数
80%已验证LoRA将权重更新矩阵ΔW分解为两个秩远低于原矩阵的小矩阵A和B之积，参数量可缩减至原来的万分之一甚至更少
80%已验证LoRA是一种轻量级模型微调技术，只需20-50张参考图就能训练出专属角色模型，所需算力远低于全量微调
80%已验证LoRA和QLoRA是当前主流的参数高效微调方法，允许在消费级GPU上完成微调
80%已验证LoRA（低秩适配）是2022年由微软研究院提出的参数高效微调方法
80%已验证LoRA（Low-Rank Adaptation）最初由微软研究院提出用于大语言模型的高效适配
80%已验证LoRA（Low-Rank Adaptation）文件体积通常只有几十MB，远小于完整模型的数GB大小
80%已验证「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
80%已验证神经正切核（NTK）理论指出当神经网络宽度趋向无穷时，网络在梯度下降训练中的行为等价于以NTK为核的核回归模型，且网络不做特征学习
75%已验证LoRA的原理是将微调中权重变化量ΔW分解为两个低秩矩阵的乘积（ΔW = A×B）
75%已验证LoRA训练时预训练模型权重W₀被冻结，只训练B和A两个矩阵，前向传播公式为H = W₀X + (α/r)BAX
75%已验证缓解灾难性遗忘的三类主要策略为基于正则化的方法（如EWC）、基于回放的方法（如Experience Replay）和基于架构的方法（如Progressive Neural Networks）
75%已验证PEFT技术的核心思想是不更新全部参数，而是引入少量可训练的适配器参数（如LoRA的低秩矩阵分解），降低显存和计算需求同时保留接近全量微调的效果
75%已验证LoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能
75%