#GGUF量化
共 29 篇相关文章
·10 分钟
看懂GGUF量化：Q4_K_M与Q4_K_S的真正区别
详解GGUF模型Q4_K_M与Q4_K_S的核心区别：为什么同为Q4量化文件大小不同？k-quant差异化保护策略解析，附量化等级选择指南与本地部署显存规划建议。
阅读全文 →
·9 分钟
实测Meta开源Muse Glimmer：偏科的Agent专用模型
实测Meta开源30B模型Muse Glimmer，覆盖视觉识别、逻辑推理、全栈应用等场景。视觉能力出色但逻辑薄弱，D-Spark加速提速3倍却牺牲质量，128K上下文成最大硬伤。详细部署方案与横评数据。
阅读全文 →
·15 分钟
Unsloth联手Thinking Machines：1-bit动态量化压缩86%，270GB跑多模态大模型
Unsloth与Thinking Machines合作推出Inkling模型动态1-bit GGUF量化版本，将模型从1.9TB压缩至270GB，缩减86%且保留74.2%准确率，并支持视觉和音频多模态能力，大幅降低本地部署门槛。
阅读全文 →
·11 分钟
Poolside桌面助手1.4.0更新：子智能体协作与本地模型提速
Poolside Desktop Assistant 1.4.0版本发布，新增原生引导、任务队列、计划模式和子智能体协作功能，同时大幅提升本地模型推理速度，支持Claude和Codex多模型深度适配。
阅读全文 →
·13 分钟
24GB Mac Mini本地跑大模型：模型选型与速度优化指南
24GB内存Mac Mini运行本地大模型太慢？本文分析14B模型在Mac Mini上慢的原因，推荐适合Home Assistant等场景的3B-8B模型选型方案，并提供Ollama推理速度优化的实用建议。
阅读全文 →
·9 分钟
Laguna S 2.1：参数小14倍却更强的开源编程模型
Poolside 发布开源智能体编程模型 Laguna S 2.1，118B总参数仅激活8B，DeepSWE基准得分40.4%，超越DeepSeek V4 Pro Max约4.5倍。支持百万Token上下文，单台工作站可部署，OpenRouter定价$0.10/百万Token起，256K上下文端点免费。
阅读全文 →
·15 分钟
通义千问Qwen 3.8 Max实测：开源模型如何逼近顶级闭源水准
通义千问Qwen 3.8 Max拥有2.4万亿参数，即将开源。KingBench实测综合得分81.25%，位列排行榜第二，超越Claude Opus 4.8，仅次于Fable 5。本文详解8道测试题表现、真实使用体验与短板分析。
阅读全文 →
·13 分钟
从零构建离线RAG应用：PDF文档本地问答完整指南
详解如何用Ollama、ChromaDB和Flask搭建完全离线的RAG应用，实现PDF文档本地问答。涵盖文档切分、向量化存储、检索增强生成及防幻觉设计，数据不出本地，无需API付费。
阅读全文 →
·15 分钟
生产级LLM部署指南：模型选型、GPU配置与推理引擎全解析
深度解析大语言模型生产部署的完整决策框架：从开源与闭源模型选型、GPU显存配置，到vLLM等主流推理引擎对比，帮助工程团队构建高效、可扩展的LLM推理服务。
阅读全文 →
·15 分钟
雅可比透镜实战：用J-Space手动改造大语言模型行为
Anthropic发布Jacobian-Lens（雅可比透镜）后，开发者将其从可解释性工具反向用于行为编辑，通过手动调整J-Space定向修改大模型输出。本文深度解析其技术原理、表征工程价值与AI安全隐忧。
阅读全文 →
·6 分钟
Mac本地AI编程代理实战：Ollama+OpenCode+MCP完整搭建指南
在32GB内存Mac上搭建本地AI编程代理的完整方案：Ollama提供本地推理引擎，OpenCode承担代理框架，MCP记忆服务器实现跨会话上下文保持。代码不出本机，无需订阅费用，兼顾隐私与效率。
阅读全文 →
·12 分钟
AI图像生成工具深度横评：Flux、Midjourney、Gemini怎么选？
全面对比主流AI图像生成工具：Flux、Midjourney、Grok、Gemini、Stable Diffusion各有何优劣？从画质、自由度、使用门槛三个维度深度拆解，帮你找到最适合自己的AI绘图方案。
阅读全文 →
·11 分钟
低显存也能跑！ID LoRA人脸转视频工作流实测解析
一套基于GGUF量化模型与ID LoRA的人脸转视频工作流，RTX 3060 6GB显存即可运行。本文解析其核心原理、四步操作流程，以及如何解决AI视频生成中角色面部一致性难题。
阅读全文 →
·8 分钟
16G显存实测：Ornith 35B vs Qwen 35B全方位对决
在16GB显存条件下，Ornith 35B与Qwen 3.6 35B谁更强？本文梳理超24小时实测结果，涵盖推理速度、256K长上下文、Agency工具调用、HumanEval编程评测等多项测试，帮助本地部署用户做出选择。
阅读全文 →
·16 分钟
Rowboat：开源本地优先的Claude Desktop替代方案
Rowboat是一款开源、本地优先的AI桌面客户端，定位为Claude Desktop替代方案。数据存储本地、代码完全透明，助力开发者掌控隐私与工作流，告别云端依赖。
阅读全文 →
·7 分钟
AMD Ryzen AI Halo本地AI开发套件深度解析：4000美元值不值？
AMD Ryzen AI Halo开发套件定价4000美元，搭载128GB统一内存与XDNA 2 NPU，主打本地大模型推理。本文深度解析其架构优势、性能局限、与Mac Studio的对比，以及软件生态挑战，助你判断是否适合你的AI开发需求。
阅读全文 →
·15 分钟
284B大模型跑进MacBook：DeepSeek本地推理的真实突破与门槛
Redis之父用纯C引擎将284B参数DeepSeek模型压缩至76GB，在MacBook Pro上实现每秒26Token的本地推理。本文拆解MoE架构、非对称量化技术原理，直面硬件门槛与质量代价，厘清本地AI推理的真实边界。
阅读全文 →
·15 分钟
DeepSeek vs Claude实测对比：80倍API价差到底值不值？
实测对比DeepSeek与Claude在文案写作、商业分析等场景的表现差异，深入分析API定价80倍价差背后的性价比真相，以及数据隐私、自托管方案等关键决策因素。
阅读全文 →
