PEFT
参数高效微调方法，旨在以最小化可训练参数数量的方式对预训练模型进行微调，代表方法包括LoRA、Adapter等，显著降低显存和计算需求
核心事实
时间轴 (近 90 天)
PEFT省的是训练成本而非实验设计成本，适配器的秩、注入位置、学习率等超参数仍需系统性调优。
实践中常见的组合是：用 PEFT 定义 LoRA 配置，用 Unsloth 加速训练。
Unsloth 与 PEFT、LoRA 等方案是叠加关系，而非替代关系；它通常与参数高效微调方法配合使用，在底层算子层面做优化。
在PEFT中，不同适配器以命名空间（如'default'、'teacher'）挂载在同一层上，可通过set_adapter()激活其中之一。
LoRA/PEFT的低秩更新只调整权重矩阵的少数方向，可能恰好放大预训练中已存在的潜在耦合方向，且基于全参数变化的异常检测难以捕捉这种定向放大。
参数高效微调（PEFT）是一类通过只训练极少量新增或选定参数来适配下游任务的技术，代表性方法包括LoRA、前缀微调（prefix tuning）、适配器（adapter）等。
任何对比可训练参数量不同的微调方案的研究都应警惕共享学习率陷阱，否则参数更少效果更好的结论可能需要重新审视
TGIT将适配完全外置到输入端，对底层模型零侵入，无论导航器是开源权重还是商业API均可接入
参数高效微调（PEFT）是实现低成本训练的核心技术支撑
在隔离环境中使用 LLM 微调工具的最大挑战是 CUDA、cuDNN、Transformers、PEFT 库等依赖版本耦合复杂，任何版本不匹配都可能导致训练栈无法启动
还有 13 条时间轴事件
全部知识事实 (20)
LoRA通过只训练少量适配层（低秩矩阵旁路训练）来降低微调成本
90%已验证LoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能
80%已验证Hugging Face 推出了 transformers、datasets、diffusers 等一系列配套开源库
75%已验证跨域微调时学习率过大会破坏预训练权重，过小则几乎学不动，需权衡设置
75%已验证PEFT技术的核心思想是不更新全部参数，而是引入少量可训练的适配器参数（如LoRA的低秩矩阵分解），降低显存和计算需求同时保留接近全量微调的效果
75%已验证LoRA（Low-Rank Adaptation）可将训练参数量减少99%以上
75%已验证HuggingFace的核心产品包括Transformers库、Hub模型版本管理系统以及Inference API
65%已验证LoRA将对权重矩阵的全量更新分解为两个低秩矩阵的乘积，训练时只更新这两个小矩阵，原始权重保持冻结
65%已验证LoRA等参数高效微调方法（PEFT）大幅降低了微调的算力门槛，使个人开发者能在消费级GPU上完成微调
65%已验证参数高效微调（PEFT）方法如 LoRA、Adapter 可将可训练参数量压缩至全量参数的不足 1%
65%待验证PEFT库支持LoRA和QLoRA等参数高效微调方法，可将需要更新的参数量从数十亿降低到数百万级别
90%待验证Hugging Face Hub深度集成了Transformers、Diffusers、PEFT等主流开源库，用户只需一行代码即可加载任意模型
70%待验证工程化落地的必备原理基础包括Transformer架构（了解整体流程即可）和微调算法（LoRA、PEFT等轻量级方法）
60%待验证Hugging Face已经成为NLP领域事实上的标准平台，提供了统一的接口来使用数万个预训练模型
60%待验证PEFT省的是训练成本而非实验设计成本，适配器的秩、注入位置、学习率等超参数仍需系统性调优。
50%待验证Unsloth 与 PEFT、LoRA 等方案是叠加关系，而非替代关系；它通常与参数高效微调方法配合使用，在底层算子层面做优化。
50%待验证实践中常见的组合是：用 PEFT 定义 LoRA 配置，用 Unsloth 加速训练。
50%待验证在PEFT中，不同适配器以命名空间（如'default'、'teacher'）挂载在同一层上，可通过set_adapter()激活其中之一。
50%待验证LoRA/PEFT的低秩更新只调整权重矩阵的少数方向，可能恰好放大预训练中已存在的潜在耦合方向，且基于全参数变化的异常检测难以捕捉这种定向放大。
50%待验证参数高效微调（PEFT）是一类通过只训练极少量新增或选定参数来适配下游任务的技术，代表性方法包括LoRA、前缀微调（prefix tuning）、适配器（adapter）等。
50%