#vLLM
共 290 篇相关文章
·9 分钟
DeepSeek-OCR部署微调实战：vLLM推理到Unsloth微调全流程
详解DeepSeek-OCR从vLLM推理部署、Unsloth模型加载到微调训练的完整流程，涵盖云服务器环境配置、显卡选择、代码调用等关键步骤，一张4090显卡即可跑通全链路。
阅读全文 →
MemStitch零拷贝上下文桥接：vLLM推理TTFT提速25倍原理解析
·6 分钟
MemStitch零拷贝上下文桥接：vLLM推理TTFT提速25倍原理解析
深度解析MemStitch如何通过零拷贝上下文桥接技术为vLLM实现25倍TTFT加速。涵盖KV Cache优化、prefill阶段提速原理，以及对开发者的实际落地价值，助你降低大模型推理延迟。
阅读全文 →
·16 分钟
vLLM推理框架详解：吞吐优化核心原理与面试攻略
深入解析vLLM推理框架的核心原理：从吞吐（tokens/s）的本质含义，到自回归生成的性能瓶颈，再到KV Cache、PagedAttention、连续批处理三大优化技术，帮助算法工程师系统掌握大模型推理优化知识体系。
阅读全文 →
·6 分钟
DeepSeek投机解码算法正式合并vLLM主干，单用户速率提升显著
DeepSeek投机解码算法（DSpark）已正式合并至vLLM主干代码，原生支持Qwen3、Gemma等主流开源模型。测试显示单用户Token生成速率提升接近150倍，整体吞吐量提升约40%-50%，是开源大模型推理加速的重要里程碑。
阅读全文 →
·9 分钟
vLLM深度解析：PagedAttention如何实现高吞吐量LLM推理
深入解析vLLM高吞吐量LLM推理引擎的核心技术，包括PagedAttention内存管理、连续批处理机制、分布式部署方案，以及与TensorRT-LLM等方案的对比和适用场景建议。
阅读全文 →
教程攻略·5 分钟
vLLM与SGLang本地部署教程：性能提升3-8倍的实战指南
详解vLLM和SGLang本地部署全流程，对比LM Studio性能差距，通过Docker+AI助手三步完成部署。涵盖SGLang与vLLM选型建议、5090显存优化、Qwen3模型推荐及Cherry Studio接入方法。
阅读全文 →
·7 分钟
Agenta：开源自托管Claude Cowork替代方案详解
Agenta是一款开源AI Agent协作平台，支持自托管模型和任意Agent执行框架，被视为Claude Cowork的开源替代方案。本文详解其核心架构、适用场景及与闭源方案的对比。
阅读全文 →
·7 分钟
HuggingFace开源语音助手：本地部署全栈方案详解
深入解析HuggingFace speech-to-speech开源项目，涵盖VAD、STT、LLM、TTS四大模块的模块化架构设计，以及本地部署在数据隐私、成本控制和低延迟方面的核心优势，助力开发者构建自主可控的语音智能体。
阅读全文 →
·11 分钟
Cursor Start印度套餐月费₹649：AI编程工具区域定价策略解析
Cursor推出面向印度市场的Start套餐，月费仅₹649（约55元人民币），包含Grok 4.5和Composer Agent能力。深度解析这一购买力平价定价策略背后的市场逻辑与行业影响。
阅读全文 →
·7 分钟
MLE与MLOps工程师真实日常揭秘：三大角色区别与职业路径
深入解析数据科学家、机器学习工程师(MLE)和MLOps工程师的真实工作日常与核心区别，涵盖岗位职责、必备技能工具链及从入门到进阶的职业发展路径，帮你找准AI领域的方向。
阅读全文 →
·7 分钟
500美元强化学习微调，9B小模型击败前沿大模型
仅花费500美元对9B开源模型进行强化学习微调，即可在目录审查任务上超越前沿大模型。本文解析小模型RL微调的适用场景、成本优势及对企业AI落地的实际启示。
阅读全文 →
·8 分钟
零基础入门AI Agent：开发者与应用者两条学习路径全解析
零基础如何学习AI Agent？本文梳理两条清晰的学习路线：开发者路线从Python到大模型再到开源框架源码研究，应用者路线通过Claude Code等工具快速上手。找对定位，少走弯路。
阅读全文 →
·8 分钟
开源权重模型之争：安全与开放如何平衡
深入分析开源权重模型的核心争论：模型权重公开发布带来透明度与创新，但也引发安全滥用风险。本文探讨分级发布、红队测试等折中方案，解读开源AI背后的行业博弈与治理挑战。
阅读全文 →
·9 分钟
Kimi K3 上线 Ollama Cloud：免费额度、使用体验与开发者指南
Kimi K3 模型正式登陆 Ollama Cloud，被标注为「超高用量」类别。本文解析 Kimi K3 的免费调用额度、云端推理体验、技术优势，以及开发者如何通过 Ollama 统一接口无缝调用这款高性能大语言模型。
阅读全文 →
·8 分钟
Ollama对Kimi 3额外收费引发社区争议：开源模型该免费用吗
Ollama上架Kimi 3模型却要求用户额外按量付费，打破了此前订阅套餐覆盖所有开源模型的预期，引发社区激烈讨论。本文分析争议始末、开源权重与免费使用的区别，以及AI服务定价分层的趋势。
阅读全文 →
·8 分钟
Anthropic为何从不开源Claude模型？安全考量还是商业护城河
Anthropic以人类命名却从未开源Claude模型权重，引发社区激烈争论。当OpenAI、Meta、Google纷纷拥抱开源，Anthropic的AI安全立场究竟是负责任的谨慎，还是保护商业利益的竞争壁垒？深度解析这场关于开源与封闭的行业辩论。
阅读全文 →
·7 分钟
Opus 5实测体验：能力强但速度慢，推理速度成AI模型新战场
AI从业者实测Opus 5：模型能力强大但推理速度过慢，点名Cerebras硬件加速方案。深度分析大模型竞争从智能比拼转向推理速度军备竞赛的行业趋势。
阅读全文 →
·7 分钟
Kimi K3本地部署指南：q4与q8量化方案存储需求详解
深入解析Kimi K3模型量化部署方案，对比q4与q8量化的存储需求、精度差异与硬件配置要求，帮助开发者评估本地自托管的可行性与最佳实践。
阅读全文 →
