参数高效微调
参数高效微调（PEFT）是一类在微调大模型时只更新少量额外参数的技术，如LoRA、Prefix Tuning等，可大幅降低显存和计算需求。
核心事实
时间轴 (近 90 天)
全参数微调需要保存和更新全部权重，显存与算力开销都高；参数高效微调只训练少量附加参数，能在保持效果的同时大幅压缩资源占用。
高频、低复杂度的请求占绝大多数，只有少数任务需要顶级算力，这一结构变化意味着算力需求不再与模型参数量同步增长。
低质量样本在参数高效微调中更容易被放大为风格漂移，LoRA对数据质量与格式一致性同样敏感
功能定位的存在为参数高效微调、模块化编辑等方向提供了理论支撑
在聊天数据量较小时使用LoRA等参数高效微调方法，可在小数据集上取得风格迁移效果，同时避免过拟合和灾难性遗忘
参数高效微调（PEFT）领域包括LoRA、QLoRA、Prefix Tuning、Adapter、IA³等方法，共同设计哲学是冻结大部分参数只训练少量新增参数
混合精度训练和梯度累积等技术可以在有限GPU内存下训练更大模型
全部知识事实 (8)
参数高效微调（PEFT）领域包括LoRA、QLoRA、Prefix Tuning、Adapter、IA³等方法，共同设计哲学是冻结大部分参数只训练少量新增参数
75%已验证LoRA微调只需训练不到1%的参数即可达到接近全参微调的效果，显存需求大幅降低至单张消费级显卡可承受范围
75%已验证混合精度训练和梯度累积等技术可以在有限GPU内存下训练更大模型
65%待验证全参数微调需要保存和更新全部权重，显存与算力开销都高；参数高效微调只训练少量附加参数，能在保持效果的同时大幅压缩资源占用。
50%待验证高频、低复杂度的请求占绝大多数，只有少数任务需要顶级算力，这一结构变化意味着算力需求不再与模型参数量同步增长。
50%待验证低质量样本在参数高效微调中更容易被放大为风格漂移，LoRA对数据质量与格式一致性同样敏感
50%待验证功能定位的存在为参数高效微调、模块化编辑等方向提供了理论支撑
50%待验证在聊天数据量较小时使用LoRA等参数高效微调方法，可在小数据集上取得风格迁移效果，同时避免过拟合和灾难性遗忘
50%