共 108 篇相关文章

腾讯混元Hy3正式发布,295B参数MoE架构,激活仅21B,支持256K超长上下文。幻觉率从12.5%降至5.4%,MRCR得分近乎翻倍,内置MTP与EAGLE投机解码,SGLang Day-0即可部署。本文深度拆解其四大核心亮点与Agent-first定位。
科技前沿Liquid AI发布LFM2.5-8B-A1B模型,采用MoE架构,8B总参数仅激活1.5B,在工具调用场景中媲美6B级模型表现。支持128K上下文、本地部署、多语言,SGLang即时支持。
科技前沿悟空2.2P 35B MOE模型正式开源,采用对抗式杂交蒸馏技术,综合性能超越Qwen3.6-27B。4090显卡Q5量化达158 tokens/s,仅需8.9G显存即可运行,支持256K上下文。详解核心技术、硬件配置与实测数据。
深度解读深度解析微软开源Tutel MoE优化库,支持FP8、NVFP4、MXFP4多精度计算,适配DeepSeek、Kimi-K2、Qwen3等主流MoE模型,解决All-to-All通信瓶颈与显存管理难题。

深度解析AI行业如何实现高性能与低成本兼得,从MoE架构、模型量化蒸馏到市场竞争,探讨算力成本下降对开发者和企业的影响,以及AI技术普惠的未来趋势。

详解如何用AMD RX 7800 XT 16GB显存本地部署大语言模型驱动量化交易机器人,涵盖ROCm生态现状、7B-14B模型推荐(Qwen2.5、Llama 3.1)、Ollama/LM Studio部署方案及系统架构设计。

深度分析AMD MI355X运行Kimi K3大模型的性价比表现,探讨其每美元性能为何优于NVIDIA B300,以及这对AI推理硬件市场格局的影响。

实测双卡RTX 3060加96GB内存运行DeepSeek V4 Flash,IQ2_M量化精度下推理速度达3.5 tokens/秒。详解硬件配置选择、2-bit量化技术原理、实际使用体验及本地大模型部署优化方向。

DeepSeek-V4-Flash-0731智能指数达50分,几乎追平五个月前最强闭源模型的51分。本文解析其本地部署方案、硬件配置要求及开源模型追赶前沿的深层意义。
每日AI新鲜事·08月02日午间版:本地跑大模型的瓶颈与突破
2026年08月02日午间版 AI新闻速递+热点深度讨论

谷歌在应用发布前再次砍掉产品,引发Reddit社区热议。深入分析谷歌频繁关闭应用背后的AI战略逻辑,探讨Gemini整合策略的利弊与风险,以及对用户和开发者的影响。

深入分析服务2.8万亿参数大模型的真实成本。从MoE混合专家架构的稀疏激活机制、批处理规模效应到推理优化技术,揭示大模型参数量与服务成本之间被高估的关联,探讨AI商业化落地的经济学逻辑。

GPT 5.6 Luna据称在Artificial Analysis智能指数上超越Google旗舰模型,同时调用成本更低。深度解析这一性能与价格双重突破背后的技术趋势、行业影响及开发者选型建议。

详解为什么显存带宽(GB/s)而非显存容量决定大模型本地推理速度。提供tokens/sec计算公式,对比主流显卡带宽数据,给出实用选卡决策顺序,帮你用两个数字精准预测本地大模型生成速度。
GPT-5.6发布:重新定义AI模型性价比边界
OpenAI发布GPT-5.6,主打价格-性能前沿优化。本文解析GPT-5.6如何通过架构优化、推理效率提升降低成本,分析其对开发者技术选型的影响,以及大模型竞争从能力比拼转向成本效率的产业趋势。

开源大模型权重开放不等于开发者能低成本使用。本文分析开源AI生态的推理服务困境,探讨为什么开发者需要便宜稳定的API端点,以及Together AI、Groq等推理服务商如何填补最后一公里的空缺。

深入拆解LLM大模型推理的成本构成与盈利模型,从GPU吞吐量、MoE架构、KV Cache到规模效应,算清推理服务每一笔账,揭示API价格战背后的商业逻辑与行业趋势。

Kimi K3将采用全新架构,参数量达2.5T,上下文窗口1M token。MiniMax M3 Pro参数预计2.7-3T。同期OpenAI用户破700万,HY-OCR 1.5开源拿下SOTA,高德发布世界模型。