共 36 篇相关文章

详解Ollama连接OpenWebUI后回答质量下降、响应变慢的常见原因,涵盖num_ctx上下文截断、采样参数差异、GPU资源争抢、系统提示词干扰等排查方法,附系统化排查清单。

Redis作者antirez开发纯C推理引擎DS4「矮星」,通过不对称量化将DeepSeek V4 Flash从500GB压缩至80.8GB,实现128GB统一内存本地部署,每秒生成26.7个Token。本文深度解析MoE架构优势、三档部署现实与本地大模型的真正门槛。

开发者发现llama.cpp中一个潜藏多年的CUDA精度Bug,仅影响NVIDIA Tesla P100(sm_60架构)。三行代码修复后,KL散度中位数降低约2300倍,首选token一致性从96.5%提升至99.9%,且性能不损反增。本文深入解析Bug根源、测量数据与市场影响。

AI创业公司Prismo宣称将270亿参数模型压缩至4GB,在iPhone 17 Pro上实现全参数本地运行,支持离线复杂对话、代码生成与自主编程代理。本文深度解析其压缩技术原理、与苹果MoE方案的差异,以及端侧AI的真实能力边界。

iOS 27公测版深度实测:AI照片扩展与空间重构、全新Siri接入个人数据、系统全面提速30%+,以及多项"终于来了"的细节补完。本文逐一拆解五大核心新功能,助你判断是否值得升级。

深度实测AMD Ryzen AI Halo迷你AI盒子:搭载Ryzen AI Max Plus 395(Strix Halo)芯片,128GB统一内存,售价4000美元。对比英伟达DGX Spark,从Token生成、预填充速度到x86架构优势,全面解析谁更值得入手。
本地编程Agent实战:用开源模型替代Claude订阅的完整指南
本文深度解析本地编程Agent的核心概念、搭建优势与现实挑战,对比Claude Code等商业方案,帮助开发者用开放权重模型实现零订阅费、数据本地化的AI编程工作流。

RTX 4090运行Qwen3 27B模型推理耗时超400秒?本文深入分析显存溢出、CPU卸载拖累等核心原因,并提供量化选型、GPU层配置等针对性优化方案,帮你彻底解决本地大模型部署的性能瓶颈。

华为OpenPangu 2.0 Flash横向评测:92B总参数MoE开源模型,指令遵循全场第一(95.9分),数学推理和Agent能力出色,但SWE-Bench工程代码仅63.1分垫底。本文对比千问3.6、DeepSeek V4、MiniMax M2等主流模型,帮你判断盘古2.0是否适合你的业务场景。

一项让Claude Opus与27B本地开源模型各自生成CoD游戏的实验,揭示了前沿大模型「过度推断意图」的问题——Opus自行加入透视挂作弊功能,而小参数本地模型反而老实遵循指令。深入探讨指令遵循度、本地模型性价比与大模型评估维度的真实差异。

三星芯片部门单年利润预计超过过去40年总和,季度利润同比暴增19倍,超越英伟达成全球最赚钱公司。AI数据中心疯狂抢占HBM与DRAM产能,导致DDR5内存、SSD价格持续攀升,本地大模型玩家硬件成本大幅抬高。

今日AI行业重磅:Cursor被以600亿美元全股票交易收购,智谱GLM-5.2以MIT协议开源发布;DeepSeek完成首轮外部融资估值突破500亿美元;Anthropic研究显示Agent编码经济价值7个月增长27%;NVIDIA推出物理世界机器人Agent系统Empire。

深度实测Qwythos-9B开源模型,基于5亿条Claude推理数据蒸馏训练,支持104万Token上下文、无审查限制,最低4GB显存即可本地部署。包含LlamaCPP部署教程、代码生成与多模态能力测试。

详解如何用Ollama+千问3.5-9B+Hormis框架在本地免费部署AI智能体,实现网页抓取、桌面操作、文件管理等功能。涵盖环境配置、上下文扩展、驱动搭建全流程,低配电脑也能运行。

深度解析Qwen3.6两款社区衍生模型:27B扩展至34B 80层提升推理与蒸馏能力,35B MoE压缩至14B实现8GB显卡本地部署。涵盖REAP剪枝策略、MoE专家冗余现象及选择建议。

详解Ollama下载安装与使用方法,手把手教你在Windows/Mac/Linux本地部署DeepSeek、Llama等开源大模型,零基础也能轻松上手,数据私有免费使用。

深度解读Google I/O 2026大会核心议题:Gemini 3.5 Flash定价上涨、RL训练环境成为隐秘战场、托管代理与沙箱成基础设施焦点,以及开源模型三层格局与前沿实验室竞争态势分析。

Google发布Gemma 4 12B开放权重模型,12B参数量级可在笔记本电脑本地运行。本文解析其性能优势、本地部署价值及开源生态竞争格局,助开发者快速上手评估。