#4bit量化
共 204 篇相关文章
·9 分钟
Unsloth v0.1.46-beta更新：DiffusionGemma禁用工具调用与画布默认开启详解
Unsloth v0.1.46-beta正式发布，核心变更聚焦DiffusionGemma：默认禁用工具调用、启用artifacts画布。本文深度解析此次更新背后的产品逻辑与扩散语言模型的发展趋势，适合LLM微调开发者参考。
阅读全文 →
·7 分钟
Ornith 9B实测：16GB Mac Mini能否胜任本地AI编码？
在16GB M4 Mac Mini上实测Ornith 9B本地编码模型：LM Studio部署、塔防游戏实战对比35B，深度解析小模型精度瓶颈与本地化AI编码的务实选型建议。
阅读全文 →
·6 分钟
本地部署大模型完全指南：工具选择与硬件配置
系统介绍如何在本地设备上部署运行开源大语言模型，涵盖硬件显存要求、量化技术原理、Ollama/LM Studio等主流工具链推荐，以及Llama、Qwen等模型选型建议，帮助开发者摆脱云端API依赖。
阅读全文 →
·11 分钟
捍卫本地AI运行权：隐私、自由与数字主权之战
本地AI（Local AI）正面临政策监管收紧、硬件封锁与商业挤压三重威胁。本文深度解析为何在自己的设备上自由运行开源大模型，是每个人都应守护的数字权利——涉及隐私保护、抗审查自由与长期可用性。
阅读全文 →
·14 分钟
Codex配置实战：国内低成本接入GPT-5.5完整教程
详解国内开发者如何配置Codex命令行AI编程工具，通过API中转接入GPT-5.5模型，涵盖API密钥获取、CCS安装、模型绑定全流程，并深度分析第三方中转方案的效率价值与潜在风险。
阅读全文 →
·15 分钟
284B大模型跑进MacBook：DeepSeek本地推理的真实突破与门槛
Redis之父用纯C引擎将284B参数DeepSeek模型压缩至76GB，在MacBook Pro上实现每秒26Token的本地推理。本文拆解MoE架构、非对称量化技术原理，直面硬件门槛与质量代价，厘清本地AI推理的真实边界。
阅读全文 →
·18 分钟
开源AI助手对接OpenClaw龙虾实战：本地智能体配置全流程
详细讲解如何将开源AI助手对接OpenClaw龙虾，包含安装Robust AI、配置网关地址、获取API Key等完整步骤，实现具备持久化记忆的本地AI执行型智能体。
阅读全文 →
·13 分钟
AMD显卡跑本地大模型：卸载Ollama换LM Studio，速度翻7倍
AMD显卡用户跑本地大模型屡遭黑屏掉卡？本文复盘Ollama三大致命痛点，详解迁移至LM Studio后token速度从5提升至36的完整方案，含ROCm配置、投机采样开启及GFX版本避坑指南。
阅读全文 →
·14 分钟
银行医院为何必须用Local AI？本地大模型私有化部署全解析
云端AI随用随取，为何银行、医院仍要自建Local AI？本文深度解析本地大模型私有化部署的核心驱动力、完整技术栈（Ollama、RAG、向量数据库），以及知识问答、合规审查等落地场景，帮你看清企业级AI部署的必然趋势。
阅读全文 →
·15 分钟
DeepSeek vs Claude实测对比：80倍API价差到底值不值？
实测对比DeepSeek与Claude在文案写作、商业分析等场景的表现差异，深入分析API定价80倍价差背后的性价比真相，以及数据隐私、自托管方案等关键决策因素。
阅读全文 →
·11 分钟
本地部署免费AI智能体：千问3.5+Hormis打造全能助手
详解如何用Ollama+千问3.5-9B+Hormis框架在本地免费部署AI智能体，实现网页抓取、桌面操作、文件管理等功能。涵盖环境配置、上下文扩展、驱动搭建全流程，低配电脑也能运行。
阅读全文 →
·8 分钟
从零构建AI智能体：LangGraph架构与实战解析
深入解析AI智能体的核心原理与开发实践，涵盖智能体定义、主流产品分析（Deep Research、橙篇、Manus），以及LangGraph+LangChain+MCP技术栈的完整架构方案，助你快速掌握智能体开发要点。
阅读全文 →
·10 分钟
AI大模型转行路线：三阶段学习指南从零到企业实战
系统梳理AI大模型转行的三阶段学习路线：从Transformer架构筑基，到RAG、Agent与LangChain实战开发，再到LoRA模型微调进阶。帮助零基础学习者在两个月内建立完整技能体系，对接企业真实需求。
阅读全文 →
·11 分钟
Ollama保姆级教程：本地部署AI大模型完全指南
详解Ollama下载安装与使用方法，手把手教你在Windows/Mac/Linux本地部署DeepSeek、Llama等开源大模型，零基础也能轻松上手，数据私有免费使用。
阅读全文 →
·9 分钟
XiaoWu语音输入法：本地大模型驱动，离线也能精准识别
XiaoWu是一款完全本地运行的AI语音输入法，基于本地大语言模型实现高精准语音识别、智能标点添加和极简交互设计。无需联网，保护隐私，支持一键安装，适合高频文字输入场景。
阅读全文 →
·8 分钟
NVIDIA ACE SDK：本地端侧AI推理打造智能游戏NPC伙伴
深入解析NVIDIA ACE Game Agent SDK与Unreal Engine 5的深度集成方案，了解端侧AI推理如何实现低延迟、隐私安全的智能NPC对话与行为决策，探索游戏AI从脚本驱动到智能交互的范式转变。
阅读全文 →
·8 分钟
748集AI大模型开发教程：七大板块从零基础到项目落地
解析一套748集、198小时的AI大模型应用开发教程，涵盖API调用、提示词工程、RAG知识库、AI Agent、模型微调、多模态开发及项目部署七大核心板块，附学习策略建议。
阅读全文 →
·8 分钟
3080Ti本地部署多模态AI Agent实战：显存管理与五大模块全解析
详解如何在3080Ti 12GB显存上本地部署多模态AI Agent系统，涵盖LLM、语音识别、语音合成、图片生成、视频生成五大模块的选型方案、显存动态加载策略及实际性能表现。
阅读全文 →
