#GPU
共 2084 篇相关文章
·7 分钟
RF-DETR本地部署教程：YOLO之外精度更高的目标检测新选择
RF-DETR是首个在COCO数据集上实时检测精度突破60 mAP的Transformer目标检测模型。本文详解本地部署全流程：Conda环境搭建、pip一键安装、图片与视频检测实测，帮你快速上手这一YOLO的高精度替代方案。
阅读全文 →
·14 分钟
AMD MI355X运行GLM5.2：推理成本仅为英伟达Blackwell的一半
AMD MI355X在运行GLM5.2大模型时实现单节点2626 tokens/秒吞吐量，总拥有成本仅为英伟达Blackwell的一半。本文深度解析这一性价比优势背后的技术逻辑、ROCm生态进展，以及对AI算力市场格局的深远影响。
阅读全文 →
·11 分钟
NVFP4量化实战：NVIDIA模型优化器压缩大模型指南
深入解析NVFP4量化技术：使用NVIDIA Model Optimizer将Nemotron 3 Ultra压缩为FP4格式检查点，实现显存占用降低75%，提升推理吞吐量。涵盖量化原理、校准流程与Blackwell架构协同优化实践。
阅读全文 →
·14 分钟
硬件级AI安全：机密计算如何实现性能与防护双赢
探讨硬件级AI安全与机密计算（Confidential Computing）如何保护模型权重、训练数据及推理过程，在不损耗性能的前提下构建可信执行环境，助力企业规模化落地AI。
阅读全文 →
·15 分钟
DeepSeek开源DiSpark：不换显卡让AI推理提速85%
DeepSeek联合北京大学推出开源框架DiSpark，通过投机解码、半自回归生成与分级验证技术，在不更换硬件、不重训模型的前提下，让大语言模型推理速度提升60%至85%，同时保持输出质量。
阅读全文 →
·10 分钟
让任意LLM理解视频：Claude-real-video技术原理与应用解析
深入解析开源项目Claude-real-video的核心技术：通过关键帧抽取、图像描述转文本与语音识别，将视频转化为LLM可处理的结构化输入，实现模型无关的视频理解方案，适用于视频摘要、内容检索等多种场景。
阅读全文 →
·13 分钟
Claude Sonnet 5接入Devin：编程性能升级，配额消耗降低30%
Anthropic最新Claude Sonnet 5模型正式登陆Devin Desktop和Devin CLI，带来前沿级编程性能的同时，相比上代模型配额消耗减少约30%。更强的代码生成能力、更低的使用成本，AI编程代理进入新阶段。
阅读全文 →
·16 分钟
C语言可读性危机：奇技淫巧背后的工程反思
C程序员为何频繁制造可读性灾难？本文深入分析C语言宏滥用、指针花式操作、过度嵌套等典型问题，探讨编码规范、静态分析工具与Code Review如何守护代码可维护性，帮你在技术自由与工程责任之间找到平衡。
阅读全文 →
·12 分钟
NVIDIA AI-Q蓝图×OCI：企业级AI智能体生产部署实践指南
深度解析NVIDIA AI-Q Blueprint在Oracle Cloud Infrastructure上的生产级部署实践，涵盖NIM微服务、RAG架构、多智能体编排及OCI GPU算力选型，助力企业快速跨越AI智能体从原型到落地的鸿沟。
阅读全文 →
·7 分钟
Ornith 9B实测：16GB Mac Mini能否胜任本地AI编码？
在16GB M4 Mac Mini上实测Ornith 9B本地编码模型：LM Studio部署、塔防游戏实战对比35B，深度解析小模型精度瓶颈与本地化AI编码的务实选型建议。
阅读全文 →
·6 分钟
本地部署大模型完全指南：工具选择与硬件配置
系统介绍如何在本地设备上部署运行开源大语言模型，涵盖硬件显存要求、量化技术原理、Ollama/LM Studio等主流工具链推荐，以及Llama、Qwen等模型选型建议，帮助开发者摆脱云端API依赖。
阅读全文 →
·11 分钟
捍卫本地AI运行权：隐私、自由与数字主权之战
本地AI（Local AI）正面临政策监管收紧、硬件封锁与商业挤压三重威胁。本文深度解析为何在自己的设备上自由运行开源大模型，是每个人都应守护的数字权利——涉及隐私保护、抗审查自由与长期可用性。
阅读全文 →
·8 分钟
NVIDIA Nsight工具实战：神经重建管线性能优化指南
深入解析如何使用NVIDIA Nsight Systems与Nsight Compute优化神经重建管线。从CPU-GPU同步阻塞到内核级性能剖析，掌握自动驾驶仿真场景下GPU密集型AI管线的系统性优化方法。
阅读全文 →
·8 分钟
Unsloth重大更新：GLM-5.2支持、3倍长上下文与全新Model Hub
Unsloth最新版本一次性带来GLM-5.2全推理级别支持、3倍长上下文能力（单卡q4_0可达20万token）、全新Model Hub及Chat Canvas交互功能，大幅提升本地大模型微调与推理体验。
阅读全文 →
·9 分钟
Unsloth重磅更新：支持DiffusionGemma与Gemma 4 MTP，推理速度提升2倍
Unsloth最新版本v0.1.464-beta新增DiffusionGemma、Gemma 4 MTP和MiniMax-M3支持，推理速度提升约2倍。同时带来全新Hub页面、文档RAG问答、张量并行优化及Cloudflare加密隧道，覆盖CUDA/ROCm/Windows全平台。
阅读全文 →
·5 分钟
Unsloth v0.1.47-beta发布：LLM微调提速2倍、显存降低70%
Unsloth发布v0.1.47-beta版本，这款拥有6.79万Star的开源大模型微调框架，可将Llama、Mistral、Qwen等主流模型微调速度提升2倍以上，显存占用降低约70%，让消费级GPU也能完成高效微调。
阅读全文 →
·6 分钟
Chrome悄悄安装4GB本地AI模型：端侧AI时代的透明度之争
Google Chrome在用户不知情的情况下静默下载4GB的Gemini Nano本地AI模型，引发Hacker News热议。本文深度解析端侧AI的技术逻辑、用户知情权争议，以及本地AI模型成为基础软件标配的行业趋势与隐忧。
阅读全文 →
·7 分钟
AMD Ryzen AI Halo本地AI开发套件深度解析：4000美元值不值？
AMD Ryzen AI Halo开发套件定价4000美元，搭载128GB统一内存与XDNA 2 NPU，主打本地大模型推理。本文深度解析其架构优势、性能局限、与Mac Studio的对比，以及软件生态挑战，助你判断是否适合你的AI开发需求。
阅读全文 →
