#模型推理部署

共 5 篇相关文章

DeepSeek宣布进军自研AI芯片领域，剑指算力自主可控。本文深度解析其布局动因、软硬件协同潜力、芯片研发的现实挑战，以及对中国AI产业垂直整合趋势的深远影响。

深入解析vLLM推理框架的核心原理：从吞吐（tokens/s）的本质含义，到自回归生成的性能瓶颈，再到KV Cache、PagedAttention、连续批处理三大优化技术，帮助算法工程师系统掌握大模型推理优化知识体系。

Google发布开源扩散式语言模型DiffusionGemma，采用Apache 2.0许可，26B参数MoE架构实测超500 tokens/s。了解扩散式文本生成原理、性能表现及与自回归模型的速度对比。

深入解析Hugging Face Transformers开源框架，涵盖核心架构、Pipeline API、模型微调、多模态支持等关键技术，帮助开发者快速掌握这个拥有16万GitHub Star的AI模型定义框架。

Unsloth是GitHub上6.3万星的开源大模型本地训练工具，支持Gemma 4、Qwen 3、DeepSeek等主流模型微调，提供Web UI图形界面，大幅降低LLM微调门槛。本文详解其核心功能、技术优势与适用场景。