#vLLM
共 122 篇相关文章
深度解读·8 分钟
微软Tutel：MoE模型加速库深度解析，支持FP4/FP8低精度计算
深度解析微软开源Tutel MoE优化库，支持FP8、NVFP4、MXFP4多精度计算，适配DeepSeek、Kimi-K2、Qwen3等主流MoE模型，解决All-to-All通信瓶颈与显存管理难题。
阅读全文 →
产品体验·7 分钟
awesome-LLM-resources：GitHub 8200星LLM学习资源库全面解析
深度解析GitHub万星项目awesome-LLM-resources，涵盖LLM多模态生成、Agent智能体、模型训练推理、MCP协议等十大核心模块，为AI从业者提供一站式大语言模型学习导航。
阅读全文 →
深度解读·14 分钟
Hugging Face Transformers：16万Star开源AI框架深度解析
深度解析Hugging Face Transformers开源框架，涵盖核心架构、Pipeline API、Auto Classes机制、多模态模型支持及社区生态。了解这个16万Star项目如何成为AI开发事实标准，助你快速上手预训练模型的推理与训练。
阅读全文 →
产品体验·9 分钟
Cube Studio：腾讯开源云原生AI平台全面解析
深度解析腾讯音乐开源的Cube Studio云原生AI平台，涵盖分布式训练、大模型微调推理、Pipeline编排、国产化适配等核心能力，助力企业快速构建一站式MLOps基础设施。
阅读全文 →
教程攻略·7 分钟
GitHub 8K Star：最全LLM大语言模型资源库深度解析
深度解析GitHub热门项目awesome-LLM-resources，8200+ Star的LLM资源宝库，覆盖多模态、AI Agent、MCP协议、模型训练推理、辅助编程等核心方向，为AI从业者提供系统性学习路线图。
阅读全文 →
产品体验·7 分钟
Unsloth：显存优化80%，本地微调大模型的最佳开源工具
Unsloth是GitHub 63K+ Star的开源大模型训练工具，支持Gemma 4、Qwen 3、DeepSeek等主流模型。通过显存优化降低50%-80%显存占用，让RTX 4090也能微调7B模型，提供Web UI一键训练。
阅读全文 →
科技前沿·7 分钟
Guardrails AI遭供应链攻击：Mini Shai-Hulud行动全解析
Guardrails AI的PyPI包guardrails-ai 0.10.1遭Mini Shai-Hulud供应链攻击，TanStack、Mistral等项目同时受害。本文详解攻击过程、影响范围及开发者应急修复措施，并提供AI开源生态供应链安全防护建议。
阅读全文 →
科技前沿·6 分钟
Kimi K2官方验证工具K2-Vendor-Verifier：一键检测API供应商模型精度
Moonshot AI开源K2-Vendor-Verifier工具，专门验证第三方Kimi K2 API供应商的推理精度。本文详解该工具的核心功能、技术实现思路及对开发者选型的实际价值，帮助你避开过度量化、模型替换等API市场隐患。
阅读全文 →
产品体验·8 分钟
Open WebUI：13万Star开源AI界面，部署教程与功能全解析
深度解析Open WebUI这款13.5万Star的开源AI交互界面，涵盖Ollama集成、Docker一键部署、RAG文档问答、多用户管理等核心功能，助你快速搭建本地AI助手或企业AI平台。
阅读全文 →
深度解读·9 分钟
LLM 0.32重构：消息序列与流式分片如何重塑Python LLM交互
Simon Willison发布LLM 0.32a0 alpha版本，引入消息序列输入和类型化流式分片输出两大核心变化，重新定义Python大语言模型交互抽象层，支持多轮对话预填充、混合类型输出处理及响应序列化，同时保持完全向后兼容。
阅读全文 →
深度解读·11 分钟
Agent、MCP与Function Calling的区别与关系详解
深入解析AI Agent、MCP协议、Function Calling和Prompt之间的关系与区别。从基础概念到完整架构，一文帮你建立清晰的AI应用开发认知框架。
阅读全文 →
教程攻略·8 分钟
awesome-llm-apps：10万星GitHub开源项目，100+AI Agent与RAG应用合集
awesome-llm-apps是GitHub上超10万Star的开源项目，汇集100多个可直接运行的AI Agent和RAG应用。基于Python构建，支持克隆即用，覆盖文档问答、多Agent协作、Graph RAG等场景，是LLM应用开发者的必备资源库。
阅读全文 →
产品体验·6 分钟
ShellGPT：终端里的AI助手，自然语言秒变Shell命令
ShellGPT是GitHub上12000+ Star的开源命令行AI工具，支持GPT-5等大模型，用自然语言生成Shell命令、编写脚本、分析日志。本文详解其核心功能、适用场景与技术架构，助你提升终端操作效率。
阅读全文 →
产品体验·8 分钟
LiteLLM：统一调用100+大模型API的开源网关详解
深入解析LiteLLM开源AI网关，支持统一调用100+大模型API，涵盖OpenAI、Claude、Gemini等。详解其核心功能、两种使用模式及企业级应用场景，助你高效管理多模型集成。
阅读全文 →
产品体验·6 分钟
灵雀AI Agent框架：私有化部署的自主可控方案
灵雀（lingque）是一款基于Python的开源AI Agent框架，支持完全私有化部署，数据不出域。本文深入分析其技术特点、适用场景及与LangChain等框架的差异化优势。
阅读全文 →
产品体验·7 分钟
Micro-Agent：复旦开源轻量级AI Agent框架，专为垂直领域打造
Micro-Agent是复旦大学开源的轻量级AI Agent框架，专注垂直领域应用开发。相比LangChain等重量级框架，它以精简架构、低学习成本和高定制灵活性为特色，适合医疗、法律、金融等垂域AI应用快速落地。
阅读全文 →
产品体验·6 分钟
Fay开源Agent框架：打通数字人与业务系统的连接层
Fay是GitHub上12700+ Star的开源Agent框架，专注连接数字人、大语言模型与企业业务系统。支持2.5D/3D数字人、DeepSeek等OpenAI兼容模型，适用于智能客服、虚拟主播、企业助手等场景。
阅读全文 →
教程攻略·8 分钟
Hermes Agent橙皮书：3600+ Star的AI Agent开源框架实战指南
深入解读Nous Research推出的Hermes Agent开源AI Agent框架及社区橙皮书实战指南，涵盖工具调用、推理规划、多Agent协作等核心能力，助力中文开发者快速上手AI Agent开发。
阅读全文 →
产品体验·7 分钟
Deep Research Web UI：支持DeepSeek R1的开源AI深度研究助手
Deep Research Web UI是一款开源AI研究助手，支持DeepSeek R1模型，通过迭代式搜索、网页抓取和LLM推理实现自动化深度研究。已获2100+ Star，适用于学术调研、市场分析等场景。
阅读全文 →
深度解读·6 分钟
SAP AI Core LLM Proxy：统一接入GPT-5等主流大模型的企业级代理方案
深入解析SAP AI Core LLM Proxy开源项目，了解如何通过OpenAI兼容接口统一接入GPT-5、Claude 4.6、Gemini 2.5 Pro等主流大模型，解决企业多模型管理难题。
阅读全文 →