共 26 篇相关文章
Jellyfin:完全开源免费的自托管媒体服务器
Jellyfin 是一款完全免费开源的自托管媒体服务器,支持影视、音乐、照片管理与串流,无需订阅费。本文详解其核心功能、技术架构,以及与 Plex、Emby 的深度对比,助你打造私人影音中心。
llmfit:一条命令检测硬件能跑哪些本地大模型
llmfit 是用 Rust 编写的开源命令行工具,无需下载模型即可预判本地硬件能否运行指定 LLM。覆盖数百种模型与 Ollama、llama.cpp 等主流推理后端,帮助开发者在本地部署大模型前快速完成硬件适配评估,避免反复试错。

实测对比4张V100 16G原生PCIe与2张V100 32G SXM转接PCIe方案的推理性能。从预处理速度、输出速度到性价比,深度解析多卡堆叠的功耗墙与带宽瓶颈,帮你找到本地大模型部署的最优解。
CUDA内核融合:减少显存带宽消耗与启动开销的实战指南
深入解析CUDA内核融合(Kernel Fusion)原理与实践:如何将多个GPU内核合并为一个,减少全局显存读写流量、降低内核启动开销,在AI推理与深度学习算子链中实现显著加速。涵盖典型融合场景、权衡注意事项及自动融合工具选型。

Reddit社区曝光苹果M7 Ultra芯片规格,最高1.5TB统一内存或支持本地运行所有主流开源大模型。本文深度解析其技术架构、定价争议、内存带宽瓶颈及苹果生态锁定问题,探讨这款芯片对本地大模型部署的实际意义。

想用本地Ollama运行Gemma 3 12B并将其打造成AI Agent?本文系统讲解工具调用、n8n/LangChain/CrewAI框架对比、上下文限制等实战要点,助你快速构建可落地的本地智能体。

E2AM是一款Green AI开源工具,只需两行代码即可监测AI模型训练的能耗、碳排放和每焦耳准确率等指标,支持PyTorch与Hugging Face生态,本地运行无需服务器,助力可持续AI研究。

GPU军备竞赛之外,软件正成为AI基础设施的核心复利引擎。本文深度解析软件优化的叠加效应、CUDA生态的护城河价值,以及开源如何将个体技术红利转化为社区集体财富,为AI基础设施团队提供战略参考。

Ollama如何从小众开源项目成长为开发者默认选择?本文从产品设计、技术策略、生态建设三个维度,拆解Ollama在本地大语言模型工具领域快速崛起的核心逻辑,以及它对AI工具开发者的启示。

一位Reddit用户对Krea2模型进行FP8与BF16精度对比测试,发现两者画质几乎无差异。本文深入分析量化差距缩小的技术原因,以及对消费级用户显存占用和推理速度的实际影响,帮助你做出更明智的精度选择。

开放权重≠能本地运行。本文深度拆解GLM 5.2、DeepSeek等大模型的硬件门槛、显存瓶颈、电费成本与并行限制,揭示开源大模型真正的价值:推动云端竞争,而非让普通人在家复刻前沿效果。

用Ollama+Hermes构建完全私有的本地AI系统:零费用、无速率限制、数据不出本地。本文详解部署步骤、模型选择技巧及私有/云端混合工作流,助你真正"拥有"AI而非"租用"AI。

OpenAI与博通联合推出定制AI芯片Jalapeño,专为大语言模型推理场景设计,聚焦性能、效率与规模三大目标。本文深度解析其技术逻辑、战略意图,以及对英伟达和整个AI算力格局的深远影响。

深入解析CPU、GPU、TPU三种芯片的架构差异、各自优势与适用场景。从矩阵乘法到张量运算,理解为何GPU适合AI训练、TPU专攻机器学习,掌握现代AI系统的硬件选型核心逻辑。
产品体验实测Google Gemma 4开源模型在三台手机上的离线运行表现,详解Dense与MOE架构区别,附Ollama + Claude Code完整部署教程。从1B到31B四款模型覆盖手机到工作站全场景,4GB显存即可运行。
教程攻略详解Stable Diffusion本地部署方法,包括硬件要求、一键整合包安装流程和模型管理技巧。零成本、无次数限制、完全离线运行,适合高频创作者和隐私敏感用户的开源AI绘画替代方案。
行业洞察AMD Instinct MI355X通过SGLang+MoRI全栈优化,在DeepSeek-R1分离式推理中实现TCO比NVIDIA B200低5%,每GPU吞吐量高1.25倍。深度解析MoRI量化通信、KV Cache优化及推测解码等核心技术突破。
教程攻略详解Ollama本地部署开源大模型的完整流程,涵盖安装配置、模型选择、显存要求及实际效果对比。支持Llama 3、通义千问等主流模型,零成本、断网可用,轻松打造私有AI工作站。