#Unsloth

共 47 篇相关文章

开源探索·第3期：开源AI本地化与脱云浪潮

每周四挖掘值得关注的AI开源项目

开源探索·第1期：开源大模型降门槛本地化部署与Agent生态

每周四挖掘值得关注的AI开源项目

Qwen3.6实验性MTP-GGUF版本实测，单GPU将35B-A3B模型推理速度提升至220 token/s，比原版快1.4倍且精度零损失。详解MTP原理、最优Draft Tokens策略及RTX 5090实测数据。

详解如何使用QLoRA和Unsloth框架在消费级GPU上微调LLaMA 3 8B大模型。涵盖4-bit量化、LoRA低秩适配、Alpaca数据格式、训练流水线搭建到模型部署的完整流程，RTX 3090即可运行。

IBM发布Granite 4.1系列开源大模型（Apache 2.0），Unsloth提供21种GGUF量化版本。Simon Willison用鹈鹕SVG测试不同量化级别，发现3B模型在SVG生成上表现一致——都很差，揭示了模型选型的关键启示。

IBM Granite 4.1开源模型发布，Unsloth提供21种GGUF量化版本。Simon Willison用鹈鹕骑自行车SVG测试发现：3B小模型中量化级别对生成质量影响微乎其微，最小模型反而画出最好的自行车。

深度解读MYLLM开源项目，一个用Qwen2.5-0.5B小模型覆盖LLM训练、LoRA微调、SFT、知识蒸馏、RLHF、多模态、Agent全栈技术的个人作品集，适合AI入门者参考学习。