#High Speed API

共 4 篇相关文章

JAX主机卸载技术：突破LLM训练显存瓶颈的实战指南

显存不足是LLM训练的核心瓶颈。本文深入解析基于JAX的主机卸载（Host Offloading）技术原理，涵盖优化器状态、激活值卸载策略、PCIe带宽权衡，以及与激活重计算的互补关系，帮助你在不增加GPU的前提下训练更大规模的模型。

OpenAI发布GPT-5.6模型家族，推出面向企业的ChatGPT Work、一键建站的ChatGPT Sites及大幅升级的桌面客户端，编程能力反超竞品。同期Meta、Google、Kimi密集跟进，AI生态整合竞争全面提速。

深入解析LLM基础设施建设的核心挑战与关键技术栈，涵盖GPU集群管理、模型推理优化、分布式训练流程、成本控制与可观测性建设，为技术团队提供系统性的LLM Infra实践指南。

实测智谱GLM 5.1 High Speed API，满血旗舰模型输出速度达400 Token/s。从草图还原页面到零基础生成完整解谜游戏，验证速度与能力兼得的AI编程新体验。