LoRA
LoRA（Low-Rank Adaptation，低秩适应）是一种参数高效的大型模型微调技术。其核心思想是在预训练模型的权重矩阵旁引入低秩分解矩阵，通过仅训练少量新增参数而冻结原始模型权重，从而以较低的计算和存储成本实现模型的任务适配。LoRA广泛应用于大型语言模型和图像生成模型的定制化微调领域。
核心事实
时间轴 (近 90 天)
角色与品牌一致性在生成式 AI 中通常通过参考图引导、LoRA 微调、IP-Adapter 或种子锁定等技术实现。
融合模型与多个LoRA的叠加可能增加调试成本，新手需花时间理解节点逻辑。
在 RLVR 基准测试中，FuRA-S 与全参数进化策略（ES）竞争相当，并优于 LoRA 适配器上的 ES 以及 INT4 模型上的量化 ES。
该研究训练了三个学生模型，分别对应三对不同的教师组合（每对一个LRM和一个短答案模型），每个学生使用LoRA适配器微调，并在多个插值比例λ下保存适配器权重。
DELTA在总预算匹配的约束下产生离散的有效秩（整数秩），并保持与标准(A,B) LoRA适配器的兼容性。
标准LoRA给所有层分配固定秩，忽略了不同层、不同训练阶段对适应能力的差异化需求。
LoRA在推理时可将BA合并回W，不引入额外延迟。
LoRA中秩r是一个关键超参数：秩越高，适配能力越强，但参数量和过拟合风险也增加；秩过低则可能欠拟合。
实践中LoRA常选择4到64之间的秩，并配合缩放因子alpha控制更新幅度。
该交互式笔记项目覆盖了RLHF、Transformer注意力机制、LoRA和LLM评估四个主题。
还有 40 条时间轴事件
全部知识事实 (20)
LoRA通过只训练少量适配层（低秩矩阵旁路训练）来降低微调成本
90%已验证LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%
90%已验证LoRA（Low-Rank Adaptation）由微软于2021年提出，其核心思想是冻结预训练模型的权重，仅训练注入的低秩分解矩阵
90%已验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量
90%已验证Unsloth是专注于大模型量化与微调加速的开源工具团队，为主流开源模型提供GGUF量化版本
85%已验证QLoRA由华盛顿大学的研究团队在2023年提出，将基础模型权重量化为4-bit（NF4格式）
85%已验证微调（Fine-tuning）是指在通用文本预训练完毕的基础模型之上，使用特定领域标注数据进行二次训练以调整模型参数
80%已验证LoRA使得在消费级GPU上微调7B乃至13B参数模型成为可能
80%已验证LoRA将权重更新矩阵ΔW分解为两个秩远低于原矩阵的小矩阵A和B之积，参数量可缩减至原来的万分之一甚至更少
80%已验证LoRA是一种轻量级模型微调技术，只需20-50张参考图就能训练出专属角色模型，所需算力远低于全量微调
80%已验证LoRA和QLoRA是当前主流的参数高效微调方法，允许在消费级GPU上完成微调
80%已验证LoRA（低秩适配）是2022年由微软研究院提出的参数高效微调方法
80%已验证LoRA（Low-Rank Adaptation）最初由微软研究院提出用于大语言模型的高效适配
80%已验证LoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能
80%已验证LoRA（Low-Rank Adaptation）文件体积通常只有几十MB，远小于完整模型的数GB大小
80%已验证「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
80%已验证LoRA将权重更新表示为ΔW = BA，其中B和A为低秩矩阵，秩r远小于min(d,k)，训练时只更新A和B，冻结原模型参数。
75%已验证神经正切核（NTK）理论指出当神经网络宽度趋向无穷时，网络在梯度下降训练中的行为等价于以NTK为核的核回归模型，且网络不做特征学习
75%已验证LoRA的原理是将微调中权重变化量ΔW分解为两个低秩矩阵的乘积（ΔW = A×B）
75%已验证LoRA训练时预训练模型权重W₀被冻结，只训练B和A两个矩阵，前向传播公式为H = W₀X + (α/r)BAX
75%