微调
微调（Fine-tuning）是机器学习中的一种迁移学习技术，指在已完成预训练的大规模模型基础上，使用特定任务或领域的标注数据对模型参数进行进一步训练和调整，使其适配目标场景。微调通常只需较少的数据和计算资源，即可使通用模型在文本分类、问答、图像识别等具体任务上显著提升性能，是当前自然语言处理和计算机视觉领域的主流模型适配方法。
核心事实
时间轴 (近 90 天)
自托管意味着可以选用开源代码模型，并针对企业代码库做微调，这种定制化能力是商业API难以提供的。
微调模型以完成特定任务时，可能同时在无意中教给它其他行为，而这些行为并不直接出现在数据中。
相比从零训练，微调成本低得多，因此成为企业落地AI的主流方式。
很多项目验收时有硬性标准，仅靠智能体层面可能卡在 90 分，必须引入微调或 RAG 才能达到业务要求的 95 分。
在 FDE 技术栈中，难度排序为：微调小于 RAG，RAG 小于预训练。
智能体在可靠性、可控性和效果评估上仍有边界，复杂项目仍需 RAG 与微调补足。
传统后门攻击多发生在微调阶段，通过少量恶意样本让模型在特定输入下产生错误输出。
相比闭源模型只能通过提示词和少量示例引导，开源模型的微调能直接改变参数，因此在格式严格、术语密集的任务上往往表现更稳定。
微调效果高度依赖数据质量与规模，且可能带来通用能力的遗忘，因此实践中常采用 LoRA 等参数高效微调方法。
常见的高收益微调场景包括：代码补全与单元测试生成、结构化信息抽取、特定语种或方言翻译、以及需要遵循企业内部规范的客服问答。
还有 40 条时间轴事件
全部知识事实 (20)
现代大语言模型通常经历预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个训练阶段
90%已验证微调（Fine-tuning）是指在通用文本预训练完毕的基础模型之上，使用特定领域标注数据进行二次训练以调整模型参数
80%已验证当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证微调是拿一个已有的大模型，用自己准备的专属数据集进行进一步训练，从而改变模型的权重数值
80%已验证预训练模型是指在大规模数据集上预先训练好的模型，用户可以直接微调或调用来完成特定任务
75%已验证对齐训练优化的是模型在已知场景下的统计行为，而非建立可形式化验证的安全边界，面对训练分布之外的罕见指令组合或角色扮演框架时可能失效
75%已验证PEFT技术的核心思想是不更新全部参数，而是引入少量可训练的适配器参数（如LoRA的低秩矩阵分解），降低显存和计算需求同时保留接近全量微调的效果
75%已验证对齐良好的模型会将元指令引导至合规的创意表达，而对齐不足的模型可能出现意外行为
75%已验证微调（Fine-tuning）通过反向传播算法在预训练权重基础上继续更新参数，使模型适应特定领域或任务风格
75%已验证微调需要数百到数千条高质量训练样本、数小时GPU计算时间和持续维护成本，知识更新时需重复整个流程
70%已验证模型在整合多段检索结果时仍可能发生拼接式幻觉，因此RAG不是消除幻觉的终极方案
65%已验证相比模型微调，RAG的优势在于知识更新成本极低，只需替换文档库即可，无需重新训练模型
65%已验证研究者发现只需微调模型的少量参数就能移除安全对齐（去对齐攻击），且某些越狱提示可在不同模型之间迁移
65%已验证微调适合让模型学习特定输出风格或领域语气，而RAG通过外挂知识库实现即改即用，两者在工程中常结合使用
65%已验证微调将知识烧录进模型权重，知识更新需重新训练成本高；RAG将知识存储外部数据库，更新只需修改数据库无需改动模型
65%已验证AI编程助手通常结合检索增强生成（RAG）和上下文感知机制，能够理解整个项目的代码结构
65%已验证RAG机制有效解决了大模型知识截止日期、事实幻觉以及无法访问私域数据等核心痛点，且无需重新训练模型、成本可控
65%已验证训练数据中的重复内容会导致模型记忆化和性能下降
65%已验证在AI编程中，过于具体的指令会'锁死'模型的解空间，而适度模糊的高层指令反而能激活模型更广泛的推理路径
65%