#小模型微调
共 4 篇相关文章
·10 分钟
750美元从零训练3个LLM：一位开发者的实战复盘
一位开发者花费750美元从零训练了3个大语言模型，涵盖SwiGLU、GQA、KV缓存等现代架构技术迭代，并分享了预训练、SFT微调、GRPO强化学习的实战教训与五条关键工程经验。
阅读全文 →
·15 分钟
微调Qwen3-4B实录：100条数据解决角色混乱问题
分享Qwen3-4B模型微调实践全过程，通过补充100-200条身份稳定数据，成功解决角色混乱问题。详解小模型微调中的数据策略、效果验证方法及MoE架构进阶规划。
阅读全文 →
·16 分钟
GPT-2微调实验：355M小模型实现88%函数调用成功率
一位开发者将2019年的GPT-2（355M参数）重新微调，在免费Kaggle GPU上实现了88%的函数调用成功率。本文深度解析这一反直觉实验背后的技术路径与启示：小模型+针对性指令微调，同样能构建可用的LLM Agent能力。
阅读全文 →
·17 分钟
不到350元训练亿参数模型：SmoLLM从零构建全记录
一位ML工程师用不到350元（约4000卢比），从零训练出拥有1.09亿参数的LLaMA风格小型语言模型SmoLLM。本文详解其技术架构、训练踩坑、指令微调过程及模型实测表现，揭示小模型的能力边界与实践价值。
阅读全文 →