#显存不足
共 72 篇相关文章
·7 分钟
AI智能体辅助SGLang内核优化：实测性能提升与工程方法论
SGLang团队将专家经验转化为可执行的智能体技能，实现吞吐量提升71.4%、TTFT从456ms压缩至168ms等实测收益。本文深度解析Agent辅助开发的核心方法论，包括基准测试防作弊机制与人机协同审查闭环。
阅读全文 →
·7 分钟
Codex接入Ollama：本地部署AI大模型完整教程
手把手教你将Codex与Ollama结合，在本地部署开源AI大模型。数据私有、无需订阅、可离线运行，无需翻墙即可下载模型。附硬件选型建议与安装配置全流程。
阅读全文 →
·9 分钟
统一内存架构揭秘：迷你PC如何运行70B大模型
为什么配备统一内存的迷你PC能跑70B大模型，RTX 4090却束手无策？本文深度解析显存墙与统一内存架构的核心差异，帮助开发者和AI爱好者做出更明智的本地部署硬件选择。
阅读全文 →
·14 分钟
4090跑Qwen3 27B为何这么慢？本地推理性能优化实战
RTX 4090运行Qwen3 27B模型推理耗时超400秒？本文深入分析显存溢出、CPU卸载拖累等核心原因，并提供量化选型、GPU层配置等针对性优化方案，帮你彻底解决本地大模型部署的性能瓶颈。
阅读全文 →
·17 分钟
Krea2实测：FP8与BF16画质差距还存在吗？
一位Reddit用户对Krea2模型进行FP8与BF16精度对比测试，发现两者画质几乎无差异。本文深入分析量化差距缩小的技术原因，以及对消费级用户显存占用和推理速度的实际影响，帮助你做出更明智的精度选择。
阅读全文 →
·12 分钟
TensorRT多设备推理：突破单GPU显存瓶颈的工程实践
NVIDIA TensorRT正式支持多设备推理，通过流水线并行与张量并行将大模型分布到多张GPU，突破单卡显存墙。本文深入解析其核心机制、媒体生成流水线应用场景及工程落地要点。
阅读全文 →
·14 分钟
三星芯片单年利润超40年总和：AI浪潮引发存储涨价危机
三星芯片部门单年利润预计超过过去40年总和，季度利润同比暴增19倍，超越英伟达成全球最赚钱公司。AI数据中心疯狂抢占HBM与DRAM产能，导致DDR5内存、SSD价格持续攀升，本地大模型玩家硬件成本大幅抬高。
阅读全文 →
·12 分钟
Unsloth v0.1.463-beta：修复Studio崩溃与llama-server权限问题
Unsloth发布v0.1.463-beta版本，修复Studio在llama-server服务发现时因access-denied权限错误导致崩溃的问题。适用于多用户服务器及Windows环境用户，提升大模型微调框架稳定性。
阅读全文 →
·14 分钟
Dify本地部署完整教程：Docker+Ollama+RAG搭建指南
详解Dify智能体本地部署全流程：从Docker环境配置、Ollama+DeepSeek本地大模型接入，到工作流编排与RAG知识库搭建，帮助开发者快速构建私有化AI应用。
阅读全文 →
·17 分钟
Ollama+Hermes本地AI部署：打造100%私有的个人AI操作系统
用Ollama+Hermes构建完全私有的本地AI系统：零费用、无速率限制、数据不出本地。本文详解部署步骤、模型选择技巧及私有/云端混合工作流，助你真正"拥有"AI而非"租用"AI。
阅读全文 →
·11 分钟
字节开源Bernini视频编辑：角色替换本地部署实战
字节跳动开源Bernini视频编辑模型，支持角色替换、服装替换、视频融合等功能，基于ComfyUI本地部署。本文详解模型安装、工作流配置与提示词技巧，助你免费实现高质量视频编辑。
阅读全文 →
·12 分钟
Ollama入门：本地免费部署大语言模型的利器
Ollama是一款免费开源的大语言模型管理工具，支持macOS、Windows、Linux和Docker，可将DeepSeek等开源模型部署到本地，无需API付费，保障数据隐私，轻松搭建私有知识库。
阅读全文 →
·11 分钟
Ollama保姆级教程：本地部署AI大模型完全指南
详解Ollama下载安装与使用方法，手把手教你在Windows/Mac/Linux本地部署DeepSeek、Llama等开源大模型，零基础也能轻松上手，数据私有免费使用。
阅读全文 →
·11 分钟
开源模型Android开发实测：50%任务完成率追平上代闭源模型
Google Android Bench基准测试显示，开源前沿模型已能解决50%-60%的Android开发任务，Gemma 4等中等规模模型仅需20GB RAM即可本地运行，本地AI辅助Android开发正式成为可行方案。
阅读全文 →
·11 分钟
Llama.cpp Windows本地部署教程：免编译三步运行大模型
详解Llama.cpp在Windows系统上的免编译本地部署方法。从下载预编译包、配置CUDA依赖到运行GGUF量化模型，三步完成大模型本地推理，支持GPU加速与Web界面，适合零基础用户快速上手。
阅读全文 →
·8 分钟
雷神猎刃S 2026款评测：i9-13900HX+RTX 5060配置解析与选购建议
深度解析雷神猎刃S 2026款游戏本，搭载i9-13900HX处理器与RTX 5060 16GB显卡，国补后约6671元。详细拆解CPU/GPU性能、AI建模能力、适用人群及购买策略，帮你判断这款笔记本是否值得入手。
阅读全文 →
·9 分钟
本地部署大模型的5种方法：从入门到生产环境
详解本地部署大模型的5种主流方案：LlamaCPP、Ollama、LM Studio、vLLM/SGLang、MLX-LM，涵盖从个人开发到生产环境的完整选型指南，助你实现数据不出本地的AI私有化部署。
阅读全文 →
产品体验·9 分钟
Google Gemma 4实测：手机离线运行+Ollama部署教程
实测Google Gemma 4开源模型在三台手机上的离线运行表现，详解Dense与MOE架构区别，附Ollama + Claude Code完整部署教程。从1B到31B四款模型覆盖手机到工作站全场景，4GB显存即可运行。
阅读全文 →
