#tokens per second
共 35 篇相关文章
·7 分钟
SlickToken：GPU集群与智能体工作流规划工具深度解析
SlickToken是一款面向AI团队的GPU集群与智能体工作流规划工具，支持离线仿真、负载测试与容量规划，无需联网即可保护企业数据安全。本文解析其核心功能、设计理念与适用场景。
阅读全文 →
·8 分钟
GPT-5.6发布：编码跑分反超竞品，推理速度提升10倍
OpenAI在竞品上线仅12天后发布GPT-5.6，Terminal-Bench 2.1编码榜单得分91.9%反超对手，Ultra模式支持多智能体协作，推理速度高达每秒750 tokens，同步优化缓存机制大幅降低使用成本。
阅读全文 →
·7 分钟
TB/s内存层加速SGLang：X-Mem让TTFT降低6.7倍的技术解析
Netpreme将X-Mem™ MPU接入SGLang HiCache分层KV缓存体系，在98%前缀缓存命中率场景下，TTFT最高降低6.7倍，单用户TPS提升33%-50%。本文深度解析高命中率场景下内存带宽瓶颈的成因与专用内存层的技术价值。
阅读全文 →
·9 分钟
统一内存架构揭秘：迷你PC如何运行70B大模型
为什么配备统一内存的迷你PC能跑70B大模型，RTX 4090却束手无策？本文深度解析显存墙与统一内存架构的核心差异，帮助开发者和AI爱好者做出更明智的本地部署硬件选择。
阅读全文 →
·9 分钟
本地跑大模型是幻觉？开放权重的真实价值与硬件门槛
开放权重≠能本地运行。本文深度拆解GLM 5.2、DeepSeek等大模型的硬件门槛、显存瓶颈、电费成本与并行限制，揭示开源大模型真正的价值：推动云端竞争，而非让普通人在家复刻前沿效果。
阅读全文 →
·14 分钟
AMD MI355X运行GLM5.2：推理成本仅为英伟达Blackwell的一半
AMD MI355X在运行GLM5.2大模型时实现单节点2626 tokens/秒吞吐量，总拥有成本仅为英伟达Blackwell的一半。本文深度解析这一性价比优势背后的技术逻辑、ROCm生态进展，以及对AI算力市场格局的深远影响。
阅读全文 →
·7 分钟
GitHub Copilot接入Claude Opus 4.8快模式：AI编程工具开始卷响应速度
GitHub Copilot将Claude Opus 4.8 Fast Mode纳入预览通道，在保持同等智能水平的同时大幅提升Token输出速度。本文深度解析快模式的覆盖范围、企业管理策略、定价逻辑，以及AI编程工具从"拼能力"转向"拼手感"的行业趋势。
阅读全文 →
·17 分钟
苹果iOS 27设计套件更新：Liquid Glass组件全面升级
苹果发布iOS、iPadOS与macOS 27官方设计套件，带来Liquid Glass视觉语言深度优化、更广泛的组件状态支持、命名与代码对齐改进，以及macOS暗色模式适配。Figma与Sketch用户可免费下载。
阅读全文 →
·11 分钟
MiniMax M3上线Fireworks：512K上下文与MSA稀疏注意力解析
MiniMax M3模型正式上线Fireworks平台，支持512K超长上下文和多模态输入，MSA稀疏注意力机制实现预填充9倍、解码15倍加速。深度解析其技术架构、定价策略及开源模型竞争格局。
阅读全文 →
·8 分钟
Fireworks AI上线Qwen 3.7 Plus：零数据留存与99.9% SLA企业级部署
Fireworks AI正式上线Qwen 3.7 Plus模型，提供延迟吞吐量优化、零数据留存、99.9% SLA企业级保障。了解开源模型商业化推理服务的全栈部署方案与行业竞争格局。
阅读全文 →
产品体验·8 分钟
Cursor 2.0深度解析：自研模型、多Agent并行等五大新功能实测
深度解析Cursor 2.0五大重磅更新：自研Composer模型极速响应、Git Worktrees多Agent并行开发、Agent View模式、内置浏览器等，从实测角度评估这款AI编程IDE的真实实力与局限。
阅读全文 →
产品体验·10 分钟
Claude Code接入MiniMax M2实测：三个项目验证低成本AI编程方案
实测将Claude Code后端模型替换为MiniMax M2，通过框架迁移、iOS开发、全栈MVP三个真实场景验证编码能力，仅需Claude 8%的价格获得1.5-2倍额度，个人开发者降本增效的可行方案。
阅读全文 →
产品体验·9 分钟
Mac本地跑Qwen3.6-27B：4种方案实测对比
实测对比Mac本地运行Qwen3.6-27B的4种方案，包括GGUF、MLX Diflash和MTP-LX。MTP-LX 4bit方案以43.6 tok/s速度领先，编码、写作、推理质量均可圈可点，附安装配置指南。
阅读全文 →
产品体验·8 分钟
One API：统一管理30+大模型的开源网关系统完整指南
One API 是 GitHub 3.2万星标的开源LLM API网关，支持OpenAI、Claude、DeepSeek等30+大模型统一管理与分发。详解核心功能、Docker部署方式、Key管理机制与企业AI中台应用场景。
阅读全文 →
深度解读·5 分钟
LLM每秒10个Token有多快？直观感受Token生成速度的开源工具
通过开源工具直观体验LLM不同Token生成速度（5-800 TPS）的实际效果，帮助开发者理性选择模型、优化推理性能，告别对TPS数字的盲目追求。
阅读全文 →