#模型推理部署

共 3 篇相关文章

DeepSeek-V3.2-Exp推理演示中发现RoPE旋转位置编码的交错格式不匹配Bug，Indexer模块与MLA注意力模块的输入格式不一致导致隐性性能退化。本文详解问题根源、技术细节及修复方案。

深入解析Hugging Face Transformers开源框架，涵盖核心架构、Pipeline API、模型微调、多模态支持等关键技术，帮助开发者快速掌握这个拥有16万GitHub Star的AI模型定义框架。

Unsloth是GitHub上6.3万星的开源大模型本地训练工具，支持Gemma 4、Qwen 3、DeepSeek等主流模型微调，提供Web UI图形界面，大幅降低LLM微调门槛。本文详解其核心功能、技术优势与适用场景。