Unsloth重磅更新：支持DiffusionGemma与Gemma 4 MTP，推理速度提升2倍

开源微调框架 Unsloth 迎来一次密集的功能爆发。在最新的 v0.1.464-beta（对应 2026.6.7）版本中，团队一周内合并了超过 150 个 PR，不仅新增了对 DiffusionGemma、Gemma 4 MTP 和 MiniMax-M3 三款模型的支持，还带来了全新的模型 Hub、文档问答（RAG）、工具调用增强以及大量硬件适配优化。对于本地部署与微调大模型的开发者而言，这是一次值得关注的里程碑式更新。

背景：Unsloth 是什么？ Unsloth 是一个专为大语言模型（LLM）微调设计的开源框架，由 Daniel Han 与 Michael Han 兄弟创建。其核心价值主张在于：通过手写 Triton GPU 内核和数学优化，在不损失精度的前提下，将 LLM 微调速度提升 2–5 倍，同时将显存占用降低 60–80%。这使得原本需要 A100 级别显卡才能完成的微调任务，可以在消费级 GPU（如 RTX 3090/4090）上流畅运行。Unsloth 兼容 Hugging Face 生态（Transformers、PEFT、TRL），支持 LoRA、QLoRA 等主流参数高效微调方法，已成为个人开发者和中小团队进行本地 LLM 微调的主流选择之一。

Unsloth 新版本发布

新模型支持：DiffusionGemma 与 Gemma 4 MTP 双线突破

本次更新最核心的亮点在于新模型的引入。DiffusionGemma 可以直接通过 Unsloth Studio 运行和训练，若此前无法加载，官方建议升级到 v0.1.462-beta 及以上版本。Studio 为 DiffusionGemma 提供了「实时原地去噪」（live in-place denoising）可视化，让用户能直观看到扩散式生成的完整过程，而非只拿到最终结果。

什么是扩散式语言模型？ DiffusionGemma 代表了一类将扩散模型（Diffusion Model）范式引入语言生成的新兴架构。传统自回归语言模型（如 GPT 系列）逐 token 从左到右生成文本，而扩散式语言模型则借鉴图像生成中的去噪扩散概率模型（DDPM）思想：从一段噪声 token 序列出发，通过多步去噪迭代，逐步"还原"出连贯的文本。这种方式天然支持并行解码，理论上可突破自回归模型的串行生成瓶颈。Unsloth Studio 提供的「实时原地去噪」可视化，让用户能直观观察每一步去噪迭代中文本从混沌到清晰的演化过程，对理解扩散式文本生成机制极具教学价值。DiffusionGemma 是 Google 将 Gemma 基座与扩散语言建模结合的实验性探索。

Gemma 4 MTP：推理速度提升约 2 倍

Gemma 4 MTP（Multi-Token Prediction，多 Token 预测）是本次更新的另一大重点。MTP 允许模型一次预测多个后续 token，从而大幅提升推理吞吐量。据官方数据，借助 MTP，Gemma 4 的运行速度可提升约 2 倍，且该特性在 Unsloth Studio 中默认自动启用，无需额外配置即可享受性能红利。

MTP 的技术原理 多 Token 预测（MTP）是 Meta 在 2024 年提出的一种训练与推理加速技术，并在 DeepSeek-V3 等模型中得到广泛应用。传统自回归模型每步只预测下一个 token，而 MTP 在模型头部引入多个额外的预测头（Draft Head），每个预测头负责预测更远位置的 token，形成「一次前向传播，预测多个位置」的能力。在推理阶段，MTP 可配合投机解码（Speculative Decoding）使用：主模型一次生成多个候选 token，再通过验证机制批量接受，从而在不改变输出分布的前提下，显著提升生成吞吐量。Gemma 4 MTP 实现的约 2 倍速度提升，本质上来自减少了 GPU 等待和序列化解码的次数，充分利用了现代 GPU 的并行计算能力。

此外，Gemma 4 还新增了音频对话能力，支持 wav、mp3、m4a、flac、webm 等主流音频格式，并加入「保留思维链」（Preserve Thinking）功能，让模型推理过程更完整可控。

全新 Hub 与本地模型下载管理器

为改善本地模型管理体验，Unsloth 推出了实验性的 Hub 页面。用户可在其中浏览、下载和管理 Hugging Face 上的模型与数据集。Unsloth 还能自动检测本机已有的模型和数据集，与已下载资源统一展示，有效避免重复下载。

对于已下载的 GGUF 模型，Hub 提供直接的「Run / New Chat」快捷操作，从模型管理到实际对话的路径大幅缩短，进一步降低本地推理的使用门槛。GGUF（GPT-Generated Unified Format）是 llama.cpp 项目定义的量化模型存储格式，通过 4-bit、8-bit 等量化精度大幅压缩模型体积，使大型模型得以在消费级硬件上运行。

文档问答与 RAG 知识库能力

本次更新引入了实验性的 Chat with Files 功能，允许用户直接针对本地文档和知识库进行提问。该功能背后是一套较为完整的 RAG 实现。

RAG 技术解析 检索增强生成（Retrieval-Augmented Generation，RAG）是目前将外部知识引入 LLM 的主流工程范式。其核心流程为：将文档切片后编码为向量（Embedding），存入向量数据库；用户提问时，系统检索最相关的文档片段作为上下文，拼入 Prompt 送给 LLM 生成回答。Unsloth 实现的「混合检索」（Hybrid Search）是 RAG 领域的进阶实践——它结合了基于 BM25 的稀疏关键词检索（擅长精确匹配）和基于向量相似度的密集语义检索（擅长语义理解），通过倒数秩融合（RRF）等算法合并两路结果，在召回率和准确率上均优于单一检索方式。引用溯源（Citations）功能则解决了 RAG 系统的可信度问题，使模型输出可以追溯到具体文档段落，显著降低幻觉风险。

具体支持：

混合检索（hybrid search）：结合关键词与语义检索
引用溯源（citations）：回答可追溯到原始文档
PDF 预览：直接查看引用来源
按线程分离的文档管理（per-thread documents）
内置 search_knowledge_base 工具

这意味着 Unsloth Studio 不再只是训练与推理工具，而是逐步向一体化本地知识工作台演进。

工具调用增强、MCP 与加密隧道

在 Agent 能力方面，Unsloth 做了大量打磨。本地工具调用可靠性显著提升，工具卡片排序更合理，重复工具循环减少，并支持 GGUF 视觉模型的工具使用。据官方数据，此次优化让工具调用的「催促」（nudging）问题减少了 50% 到 90%，且不牺牲准确性。

新版本还提供细粒度的工具调用权限控制（Approve、Always Approve、Deny），支持绕过权限模式，并将 MCP（Model Context Protocol）和 Artifacts 设为可选项。

MCP 协议背景 MCP（Model Context Protocol）是 Anthropic 于 2024 年底提出的开放协议，旨在标准化 AI 模型与外部工具、数据源之间的交互接口，类似于 AI Agent 生态的「USB 接口」。通过 MCP，不同厂商的工具和模型可以按统一规范互操作，避免碎片化集成的工程负担。开发者只需实现一次 MCP 服务端，即可让支持 MCP 的任意客户端（包括 Claude、Cursor 等）调用。Unsloth 将 MCP 列为可选项，表明其 Agent 工具链正在向更广泛的生态标准对齐。

张量并行与端到端加密隧道

性能层面，GGUF 现已支持张量并行（Tensor Parallelism），可带来约 +30% 的推理吞吐提升。

张量并行原理 张量并行是大模型分布式推理的核心技术之一，最早由 NVIDIA Megatron-LM 系统化提出。其原理是将模型的权重矩阵沿特定维度切分到多张 GPU 上，每张 GPU 只持有并计算部分权重，最终通过 All-Reduce 通信合并结果。对于 GGUF 格式的量化模型而言，引入张量并行意味着可以将一个大型量化模型拆分到多张消费级 GPU 上协同推理，突破单卡显存限制，同时带来约 30% 的额外吞吐提升。这对于希望在多卡工作站上运行 70B 以上参数模型的开发者而言，是一个重要的能力解锁。

此外，Unsloth 新增了免费的 Cloudflare HTTPS 隧道，让本地 Studio 能通过端到端加密方式对外提供服务，兼顾便捷与安全。该隧道基于 Cloudflare Tunnel 技术，无需公网 IP 或端口映射，即可将本地服务安全暴露为 HTTPS 端点。

更广泛的硬件与 API 兼容性

Unsloth 现已采用全新的 llama.cpp 预编译包，覆盖 CUDA、ROCm、Windows、Linux 和 macOS 全平台，并在应用内加入「Update llama.cpp」按钮，用户无需重装 Studio 即可更新本地后端。llama.cpp 是一个高性能的 C++ LLM 推理引擎，支持 CPU 和多种 GPU 后端，是本地运行量化大模型的事实标准底层。

硬件适配方面，本次改进了 Windows / WSL 下的 AMD 支持、Strix Halo ROCm 支持以及 Blackwell CUDA 的选择逻辑。Strix Halo 是 AMD 面向高性能移动端和桌面端的新一代 APU 架构，ROCm 则是 AMD 的开源 GPU 计算平台，对标 NVIDIA 的 CUDA 生态。Blackwell 是 NVIDIA 的最新 GPU 架构（如 RTX 50 系列），此次优化意味着 Unsloth 已对最新一代硬件完成适配。

API 兼容性同步增强，OpenAI 兼容与 Anthropic 兼容 API 行为更规范，包括更完善的错误提示、token 用量统计、停止原因，以及对 Claude Code 的兼容。

更新方式与注意事项

官方明确警告不要使用 unsloth studio update 命令，该方式打包的版本无法获取最新更新。正确的安装与更新方式如下：

macOS / Linux / WSL：curl -fsSL https://unsloth.ai/install.sh | sh
Windows：irm https://unsloth.ai/install.ps1 | iex

总结

从模型支持到 Agent 工具链，从硬件适配到知识库问答，Unsloth 此次版本几乎在每条产品线上都有实质性推进。DiffusionGemma 与 Gemma 4 MTP 的加入拓展了可用模型边界——前者代表扩散式语言生成的新范式探索，后者则通过多 Token 并行预测将推理效率推向新高度。而 Hub、RAG、张量并行与加密隧道等功能，则体现出它正从「微调框架」向「本地 AI 一体化平台」转型的清晰路径。对于希望在本地高效运行、训练和部署大模型的开发者来说，这次更新非常值得升级体验。