LLaMA-Factory
开源大语言模型微调框架,支持多种主流LLM的高效微调,提供统一易用的训练界面
时间轴 (近 90 天)
LLaMA-Factory提供Web UI客户端界面和命令行两种使用方式,均支持零代码操作
LLaMA-Factory整合了增量预训练、指令监督微调(SFT)、奖励模型训练(Reward Model)、PPO、DPO、KTO、ORPO等训练算法
LLaMA-Factory支持的模型覆盖LLaMA系列、MoE多专家系统模型、多模态LLaVA模型,以及千问、百川、ChatGLM等中文模型
LLaMA-Factory是一个开源的大模型微调平台,GitHub Star数已达60.1K
LLaMA-Factory最早由北航学生发起
LLaMA-Factory被英伟达、阿里云、亚马逊等大厂使用
MiniCPM-V 4.7 兼容 SGLang、vLLM、llama.cpp 和 Ollama 推理框架,支持 SWIFT 和 LLaMA-Factory 微调框架。
Axolotl 以配置驱动方式简化微调实验的复现成本,LLaMA-Factory 提供面向国内用户的一站式解决方案
常见数据格式规范有Alpaca格式和ShareGPT格式,主流训练框架如LLaMA-Factory、Axolotl均支持自动解析
LLaMA-Factory 是一个整合了多种 PEFT 方法的训练框架,支持从数据预处理到导出的完整流程
还有 6 条时间轴事件
全部知识事实 (17)
LLaMA-Factory和Unsloth是社区中成熟的LoRA微调和SFT工具
90%待验证LLaMA-Factory整合了增量预训练、指令监督微调(SFT)、奖励模型训练(Reward Model)、PPO、DPO、KTO、ORPO等训练算法
50%待验证LLaMA-Factory是一个开源的大模型微调平台,GitHub Star数已达60.1K
50%待验证LLaMA-Factory被英伟达、阿里云、亚马逊等大厂使用
50%待验证LLaMA-Factory最早由北航学生发起
50%待验证LLaMA-Factory提供Web UI客户端界面和命令行两种使用方式,均支持零代码操作
50%待验证LLaMA-Factory支持的模型覆盖LLaMA系列、MoE多专家系统模型、多模态LLaVA模型,以及千问、百川、ChatGLM等中文模型
50%待验证MiniCPM-V 4.7 兼容 SGLang、vLLM、llama.cpp 和 Ollama 推理框架,支持 SWIFT 和 LLaMA-Factory 微调框架。
50%待验证Axolotl 以配置驱动方式简化微调实验的复现成本,LLaMA-Factory 提供面向国内用户的一站式解决方案
50%待验证常见数据格式规范有Alpaca格式和ShareGPT格式,主流训练框架如LLaMA-Factory、Axolotl均支持自动解析
50%待验证LLaMA-Factory 是一个整合了多种 PEFT 方法的训练框架,支持从数据预处理到导出的完整流程
50%待验证LLaMA-Factory 是目前最主流的开源大模型微调框架之一,支持对 LLaMA、Qwen、ChatGLM 等数十种主流开源模型进行监督微调(SFT)和强化学习人类反馈(RLHF)等微调方式
50%待验证LLaMA-Factory 提供可视化的 Web UI,使用者无需深入理解底层算法即可完成微调任务
50%待验证星辰4.0 29B兼容MindFormers、LLaMA-Factory等微调工具,以及SGLang、vLLM等推理框架
50%待验证Unsloth 的差异化定位是作为加速层嵌入已有的 Hugging Face 生态,用户只需替换几行代码即可获得速度和显存收益,与 Axolotl、LLaMA-Factory 等工具兼容而非竞争
50%待验证对于生产环境部署建议选择经过社区充分验证的稳定版本,学习实验则可追新以接触最前沿的技术实现
50%待验证LayerSmith 近期新增了一组面向大模型训练和微调的镜像配置,覆盖 LoRA/QLoRA、进阶 PyTorch 训练以及 LLaMA-Factory
50%