#混合精度量化
共 43 篇相关文章
·12 分钟
antirez出手：纯C打造DeepSeek 4本地推理引擎ds4
Redis之父antirez开源ds4项目，用纯C语言打造DeepSeek 4 Flash与PRO本地推理引擎，原生支持Metal、CUDA和ROCm三大GPU后端，GitHub斩获近2万Stars。本文深度解析ds4的技术选型、多后端架构与本地推理价值。
阅读全文 →
·13 分钟
Token经济学：AI时代的价值新度量单位
深入解析Token如何从大语言模型的技术概念演变为AI经济的核心计量单位。探讨AI Agent时代Token消耗爆炸、成本优化策略及Token经济学对开发者和投资人的深层影响。
阅读全文 →
·9 分钟
LLM推理速度计算公式：显存带宽决定tokens/sec
详解为什么显存带宽(GB/s)而非显存容量决定大模型本地推理速度。提供tokens/sec计算公式，对比主流显卡带宽数据，给出实用选卡决策顺序，帮你用两个数字精准预测本地大模型生成速度。
阅读全文 →
·12 分钟
Ollama接入OpenWebUI效果变差？完整排查指南
详解Ollama连接OpenWebUI后回答质量下降、响应变慢的常见原因，涵盖num_ctx上下文截断、采样参数差异、GPU资源争抢、系统提示词干扰等排查方法，附系统化排查清单。
阅读全文 →
llmfit：一条命令检测硬件能跑哪些本地大模型
·15 分钟
llmfit：一条命令检测硬件能跑哪些本地大模型
llmfit 是用 Rust 编写的开源命令行工具，无需下载模型即可预判本地硬件能否运行指定 LLM。覆盖数百种模型与 Ollama、llama.cpp 等主流推理后端，帮助开发者在本地部署大模型前快速完成硬件适配评估，避免反复试错。
阅读全文 →
·13 分钟
270亿参数大模型压进iPhone？端侧AI全参数运行技术解析
AI创业公司Prismo宣称将270亿参数模型压缩至4GB，在iPhone 17 Pro上实现全参数本地运行，支持离线复杂对话、代码生成与自主编程代理。本文深度解析其压缩技术原理、与苹果MoE方案的差异，以及端侧AI的真实能力边界。
阅读全文 →
·16 分钟
Mesh LLM：用多台旧电脑拼出虚拟超级显卡跑大模型
Mesh LLM 是一款开源分布式推理框架，通过模型分层拆分，将多台普通设备聚合成「虚拟超级显卡」，让小显存机器也能运行数百GB的超大语言模型。本文详解其工作原理、跨平台安装体验，以及网络带宽这一不可回避的物理瓶颈。
阅读全文 →
·13 分钟
从零构建离线RAG应用：PDF文档本地问答完整指南
详解如何用Ollama、ChromaDB和Flask搭建完全离线的RAG应用，实现PDF文档本地问答。涵盖文档切分、向量化存储、检索增强生成及防幻觉设计，数据不出本地，无需API付费。
阅读全文 →
·12 分钟
阿里禁用Claude Code：AI编程工具安全与数据主权之争
阿里巴巴因安全风险禁用Claude Code，引发技术社区热议。本文深度解析企业使用云端AI编程工具的数据泄露隐患，探讨本地部署AI的崛起趋势，以及AI行业从能力竞赛转向信任建设的深层逻辑。
阅读全文 →
·9 分钟
统一内存架构揭秘：迷你PC如何运行70B大模型
为什么配备统一内存的迷你PC能跑70B大模型，RTX 4090却束手无策？本文深度解析显存墙与统一内存架构的核心差异，帮助开发者和AI爱好者做出更明智的本地部署硬件选择。
阅读全文 →
·16 分钟
Cursor集成Grok 4.5实测：速度快5倍、输出更简洁的AI编程助手
一位开发者在Cursor中深度测试Grok 4.5 High Fast模型，发现其质量媲美Claude Opus却快出5倍，输出更简洁无冗余。本文详解实测体验、核心优势及对AI编程工具生态的影响，助你判断是否值得切换。
阅读全文 →
·11 分钟
DeepSeek Coder深度解析：开源代码大模型如何超越GPT-4
全面解析DeepSeek Coder从V1到V2的架构升级：MoE混合专家架构、128K超长上下文、90.2% HumanEval通过率，首个超越GPT-4 Turbo的开源代码模型。涵盖核心能力、部署方案与适用场景对比。
阅读全文 →
·17 分钟
Krea2实测：FP8与BF16画质差距还存在吗？
一位Reddit用户对Krea2模型进行FP8与BF16精度对比测试，发现两者画质几乎无差异。本文深入分析量化差距缩小的技术原因，以及对消费级用户显存占用和推理速度的实际影响，帮助你做出更明智的精度选择。
阅读全文 →
·8 分钟
16G显存实测：Ornith 35B vs Qwen 35B全方位对决
在16GB显存条件下，Ornith 35B与Qwen 3.6 35B谁更强？本文梳理超24小时实测结果，涵盖推理速度、256K长上下文、Agency工具调用、HumanEval编程评测等多项测试，帮助本地部署用户做出选择。
阅读全文 →
·13 分钟
谷歌Made by Google发布会确认：Pixel新机携AI能力即将亮相
谷歌正式确认将在纽约举办Made by Google硬件发布会，新一代Pixel系列手机蓄势待发。新机预计搭载新版Tensor芯片并深度整合Gemini AI能力，端侧AI功能全面升级。本文解读发布时间选择背后的市场信号与Pixel的AI战略布局。
阅读全文 →
·6 分钟
本地部署大模型完全指南：工具选择与硬件配置
系统介绍如何在本地设备上部署运行开源大语言模型，涵盖硬件显存要求、量化技术原理、Ollama/LM Studio等主流工具链推荐，以及Llama、Qwen等模型选型建议，帮助开发者摆脱云端API依赖。
阅读全文 →
·18 分钟
大模型开发学习路径：从零基础到企业级项目实战
系统梳理大模型应用开发完整学习路径，涵盖提示工程、RAG知识库、Agent智能体、模型微调五大阶段，帮助零基础学习者建立清晰知识框架，快速上手LangChain、LlamaIndex等主流开发框架。
阅读全文 →
·18 分钟
开源AI助手对接OpenClaw龙虾实战：本地智能体配置全流程
详细讲解如何将开源AI助手对接OpenClaw龙虾，包含安装Robust AI、配置网关地址、获取API Key等完整步骤，实现具备持久化记忆的本地AI执行型智能体。
阅读全文 →
