#FP8量化
共 76 篇相关文章
·15 分钟
50美元Arduino板运行本地AI语音助手：边缘AI实践指南
深入解析如何在50美元的Arduino Uno Q开发板上运行完全本地化的AI语音代理，涵盖语音识别、意图理解、语音合成的技术实现，探讨边缘AI在隐私保护、离线场景中的应用价值与局限。
阅读全文 →
·14 分钟
Maple-Preview：20B三元MoE模型iPhone端侧推理达120tok/s
Maple-Preview项目实现20B参数三元量化MoE模型在iPhone上以120 tok/s速度运行。本文拆解三元量化、MoE稀疏激活、端侧推理三大核心技术，分析端侧大模型部署的价值与挑战。
阅读全文 →
·13 分钟
yapyap：本地优先的开源会议录制与转录工具
yapyap 是一款本地优先的开源语音会议录制工具，支持录音、转录、说话人识别和AI摘要生成，全部在本地运行，无需上传云端，无需订阅付费，真正实现数据自主可控。
阅读全文 →
·13 分钟
Hand Wave：Meta智能眼镜实时手语翻译，让听障沟通无障碍
Hand Wave借助Meta智能眼镜摄像头，通过开源AI神经网络实时将手语翻译为文字和语音，支持iOS与Web端。了解这款无障碍沟通工具的核心技术、跨平台设计与未来潜力。
阅读全文 →
·15 分钟
MI355X跑Kimi K3实测：每美元性能超越B300的背后逻辑
深度分析AMD MI355X运行Kimi K3大模型的性价比表现，探讨其每美元性能为何优于NVIDIA B300，以及这对AI推理硬件市场格局的影响。
阅读全文 →
·15 分钟
持久化状态机：INT4内存单元如何重构LLM注意力机制
深入解析持久化状态机与INT4量化内存单元结合重构LLM注意力机制的技术方案，探讨如何突破KV Cache内存瓶颈，实现固定内存下的长上下文推理，覆盖边缘部署、高并发推理等应用场景。
阅读全文 →
·8 分钟
工业机器视觉：透明瓶异物检测为何先靠打光再靠算法
从一则真实工业机器视觉项目出发，解析透明塑料瓶内微小异物检测的核心难点。深入探讨为什么照明、光学等硬件设计往往比AI模型更关键，以及软硬件协同才是工业AI落地的完整闭环。
阅读全文 →
·8 分钟
生产级LLM推理落地：K8s部署实战手册
详解在Kubernetes上部署生产级LLM推理服务的完整实践，涵盖GPU资源调度、vLLM推理引擎选型、弹性伸缩策略、可观测性监控及成本优化，帮助团队从零搭建自建推理基础设施。
阅读全文 →
·7 分钟
Kimi K3本地部署指南：q4与q8量化方案存储需求详解
深入解析Kimi K3模型量化部署方案，对比q4与q8量化的存储需求、精度差异与硬件配置要求，帮助开发者评估本地自托管的可行性与最佳实践。
阅读全文 →
·14 分钟
本地离线RAG应用实战：用Ollama+ChromaDB构建PDF私密问答系统
手把手拆解本地离线RAG应用的完整构建思路：基于Ollama、ChromaDB与Flask，实现PDF文档分块、向量化检索与受控生成，全程无需云端API，敏感文档零泄露风险。适合想入门RAG或重视数据隐私的开发者。
阅读全文 →
·15 分钟
AI应用工程师面试指南：模型量化与推理部署核心考点
系统梳理AI应用工程师面试必考技术点：PTQ/QAT量化、算子融合、推理管线、延迟吞吐分析，以及检测/分割/BEV模型的边缘部署实战要点，帮你建立端侧AI完整知识框架。
阅读全文 →
·15 分钟
V100显卡选购对决：4×16G PCIe与2×32G SXM哪个更值？
实测对比4张V100 16G原生PCIe与2张V100 32G SXM转接PCIe方案的推理性能。从预处理速度、输出速度到性价比，深度解析多卡堆叠的功耗墙与带宽瓶颈，帮你找到本地大模型部署的最优解。
阅读全文 →
·15 分钟
Womprat：无需GPU的开源小型空中目标追踪工具
Womprat是Punk Labs开源的轻量级空中小目标追踪工具，完全基于CPU运行，无需GPU和训练模型。采用经典计算机视觉算法，支持自动获取与手动Lock-On模式，适用于边缘设备和嵌入式系统部署。
阅读全文 →
·16 分钟
Mesh LLM：用多台旧电脑拼出虚拟超级显卡跑大模型
Mesh LLM 是一款开源分布式推理框架，通过模型分层拆分，将多台普通设备聚合成「虚拟超级显卡」，让小显存机器也能运行数百GB的超大语言模型。本文详解其工作原理、跨平台安装体验，以及网络带宽这一不可回避的物理瓶颈。
阅读全文 →
CUDA内核融合：减少显存带宽消耗与启动开销的实战指南
·11 分钟
CUDA内核融合：减少显存带宽消耗与启动开销的实战指南
深入解析CUDA内核融合（Kernel Fusion）原理与实践：如何将多个GPU内核合并为一个，减少全局显存读写流量、降低内核启动开销，在AI推理与深度学习算子链中实现显著加速。涵盖典型融合场景、权衡注意事项及自动融合工具选型。
阅读全文 →
软硬协同设计：构建硬件友好的LLM架构指南
·7 分钟
软硬协同设计：构建硬件友好的LLM架构指南
深入解析AI模型协同设计（Co-Design）理念，探讨如何在准确率、吞吐量与延迟三维权衡中，通过硬件友好的LLM架构设计实现最优推理性能，涵盖MoE、GQA、FP8量化等关键技术策略。
阅读全文 →
·11 分钟
苹果M7 Ultra芯片曝光：1.5TB统一内存能否重塑本地AI推理格局
Reddit社区曝光苹果M7 Ultra芯片规格，最高1.5TB统一内存或支持本地运行所有主流开源大模型。本文深度解析其技术架构、定价争议、内存带宽瓶颈及苹果生态锁定问题，探讨这款芯片对本地大模型部署的实际意义。
阅读全文 →
·16 分钟
AI应用开发工程师能力结构全拆解：四大核心模块与学习路线
会调API不等于AI工程师。本文系统拆解AI应用开发工程师的完整能力结构，涵盖Python基础、深度学习原理、小模型工程、大模型微调、Agent开发与企业级实战项目，助你明确学习路线，避开弯路。
阅读全文 →
·12 分钟
分布式AI系统：训练、推理与生产部署工程实践指南
深入解析分布式AI系统的完整工程链路，涵盖数据并行、模型并行、张量并行等训练策略，以及生产级推理优化（KV缓存、模型量化、弹性伸缩）与云端部署实践，助力AI工程师从调参迈向系统架构设计。
阅读全文 →
·6 分钟
Apple Silicon本地图生3D：20秒生成、2GB内存，Modelr开源应用实测
开发者将腾讯Hunyuan3D模型移植至Apple MLX框架，M4 Max实测形状生成仅需20秒、峰值内存5.6GB，量化后甚至可在iPhone运行。Modelr开源应用支持实时流式可视化，是首个专为Apple Silicon打造的本地图生3D桌面工具。
阅读全文 →