LoRA
LoRA（Low-Rank Adaptation，低秩适应）是一种参数高效的大型模型微调技术。其核心思想是在预训练模型的权重矩阵旁引入低秩分解矩阵，通过仅训练少量新增参数而冻结原始模型权重，从而以较低的计算和存储成本实现模型的任务适配。LoRA广泛应用于大型语言模型和图像生成模型的定制化微调领域。
核心事实
时间轴 (近 90 天)
MLR采用最小化设计：基础模型本身充当低层策略，一个轻量LoRA模块实现高层策略，不引入额外的庞大模型。
研究团队使用LoRA对十个开源模型进行了微调，参数规模从不足十亿到数十亿不等。
复现报告测量了分辨率、骨干网络大小、训练长度和 LoRA 适配等实践权衡，但未给出简单的“最佳配置”，而是提供不同条件下的性能变化趋势。
微调效果高度依赖数据质量与规模，且可能带来通用能力的遗忘，因此实践中常采用 LoRA 等参数高效微调方法。
PEFT方法如LoRA只更新少量低秩矩阵，冻结主干权重，从而在保留通用物理理解的同时注入领域特征。
微调是用任务相关数据继续训练模型权重，常见形式包括全参数微调、LoRA 等低秩适配方法，以及偏好对齐（如 DPO）。
该结论建立在策略共享的建模假设之上，实际系统中若引入任务特定适配（如逐任务LoRA或路由机制），干扰结构会发生变化。
注意力解码器以 LoRA 形式实现，用于教会 SLM 关注视觉前缀。
上述对比是在相同 LoRA 预算下进行的，排除了参数更多导致更强的解释。
论文的评估集中在 LoRA 适配和两个模型家族上，方法对全参数微调或其他适配形式的适用性尚待验证。
还有 40 条时间轴事件
全部知识事实 (20)
LoRA通过只训练少量适配层（低秩矩阵旁路训练）来降低微调成本
90%已验证LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%
90%已验证LoRA（Low-Rank Adaptation）由微软于2021年提出，其核心思想是冻结预训练模型的权重，仅训练注入的低秩分解矩阵
90%已验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量
90%已验证Unsloth是专注于大模型量化与微调加速的开源工具团队，为主流开源模型提供GGUF量化版本
85%已验证QLoRA由华盛顿大学的研究团队在2023年提出，将基础模型权重量化为4-bit（NF4格式）
85%已验证微调（Fine-tuning）是指在通用文本预训练完毕的基础模型之上，使用特定领域标注数据进行二次训练以调整模型参数
80%已验证LoRA将权重更新矩阵ΔW分解为两个秩远低于原矩阵的小矩阵A和B之积，参数量可缩减至原来的万分之一甚至更少
80%已验证LoRA是一种轻量级模型微调技术，只需20-50张参考图就能训练出专属角色模型，所需算力远低于全量微调
80%已验证LoRA和QLoRA是当前主流的参数高效微调方法，允许在消费级GPU上完成微调
80%已验证LoRA（低秩适配）是2022年由微软研究院提出的参数高效微调方法
80%已验证LoRA（Low-Rank Adaptation）最初由微软研究院提出用于大语言模型的高效适配
80%已验证LoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能
80%已验证LoRA（Low-Rank Adaptation）文件体积通常只有几十MB，远小于完整模型的数GB大小
80%已验证「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
80%已验证神经正切核（NTK）理论指出当神经网络宽度趋向无穷时，网络在梯度下降训练中的行为等价于以NTK为核的核回归模型，且网络不做特征学习
75%已验证LoRA的原理是将微调中权重变化量ΔW分解为两个低秩矩阵的乘积（ΔW = A×B）
75%已验证LoRA训练时预训练模型权重W₀被冻结，只训练B和A两个矩阵，前向传播公式为H = W₀X + (α/r)BAX
75%已验证参数高效微调（PEFT）领域包括LoRA、QLoRA、Prefix Tuning、Adapter、IA³等方法，共同设计哲学是冻结大部分参数只训练少量新增参数
75%已验证缓解灾难性遗忘的三类主要策略为基于正则化的方法（如EWC）、基于回放的方法（如Experience Replay）和基于架构的方法（如Progressive Neural Networks）
75%