共 15 篇相关文章
科技前沿SGLang团队举办Agent Loops主题Office Hour,深入探讨智能体循环调用的推理优化方案,涵盖KV Cache复用、低延迟多轮对话及工具调用等关键技术,助力AI Agent开发者提升推理性能。
教程攻略本地部署大模型时如何判断显存是否爆满?本文详解专用显存与共享GPU内存的区别,教你通过任务管理器快速判断显存溢出,并提供模型量化、上下文长度控制等避免爆显存的实用建议。
教程攻略详解vLLM和SGLang本地部署全流程,对比LM Studio性能差距,通过Docker+AI助手三步完成部署。涵盖SGLang与vLLM选型建议、5090显存优化、Qwen3模型推荐及Cherry Studio接入方法。
产品体验基于数小时深度实测,全面评测 GPT-5.5 在编码开发、数据分析、PPT 生成、可视化设计等真实场景中的表现,对比 o4-mini 差异,给出最佳使用策略与提示词建议。
产品体验实测HIX AI一站式AI Agent平台,涵盖AI简报制作、Seedance 2.0影片生成、4K图像创作等功能,整合GPT-5.4 Pro、Sora 2 Pro等顶尖模型,帮内容创作者告别多平台切换的低效工作流。
产品体验深入解析VS Code AI Toolkit 2.0重大更新,涵盖Agent构建器、MCP工具集成、批量测试、模型评估等核心功能,以及通过GitHub Models免费使用GPT-5、Claude等顶级模型的完整指南。
深度解读深度解析微软开源Tutel MoE优化库,支持FP8、NVFP4、MXFP4多精度计算,适配DeepSeek、Kimi-K2、Qwen3等主流MoE模型,解决All-to-All通信瓶颈与显存管理难题。
产品体验深度解析Open WebUI这款13.5万Star的开源AI交互界面,涵盖Ollama集成、Docker一键部署、RAG文档问答、多用户管理等核心功能,助你快速搭建本地AI助手或企业AI平台。
教程攻略详解ComfyUI-WanVideoWrapper开源项目,介绍如何在ComfyUI中集成万象视频生成模型,涵盖文本生成视频、图像生成视频等工作流搭建,附显存优化技巧与适用场景分析。
科技前沿月之暗面正式开源旗舰模型Kimi-K2.5,GitHub星标突破1900。本文解读Kimi-K2.5的战略意义、技术生态、与DeepSeek和Qwen的竞争格局,以及开发者如何快速上手这款国产开源大模型。
产品体验
产品体验深度解析腾讯音乐开源的Cube Studio云原生AI平台,涵盖分布式训练、大模型微调、vLLM推理部署、VGPU虚拟化及国产化昇腾适配等核心能力,助力企业高效落地MLOps全流程。
产品体验深入解析Hugging Face Transformers开源框架,涵盖核心架构、Pipeline API、模型微调、多模态支持等关键技术,帮助开发者快速掌握这个拥有16万GitHub Star的AI模型定义框架。
产品体验Unsloth是GitHub 63K+星标的开源大模型微调工具,支持Gemma 4、Qwen 3、DeepSeek等主流模型,通过LoRA/QLoRA技术将训练速度提升2-5倍,显存降低80%,提供Web UI界面让本地微调大模型变得简单高效。
产品体验深入解析Unsloth这款GitHub 6万+星标的开源大模型训练工具,支持Gemma 4、Qwen3、DeepSeek等主流模型的本地微调与推理,通过LoRA/QLoRA技术大幅降低显存需求,助力开发者在消费级显卡上高效训练大模型。