#RadixAttention
共 20 篇相关文章
·7 分钟
LLM推理到底赚不赚钱？拆解大模型推理成本与盈利逻辑
深入拆解LLM大模型推理的成本构成与盈利模型，从GPU吞吐量、MoE架构、KV Cache到规模效应，算清推理服务每一笔账，揭示API价格战背后的商业逻辑与行业趋势。
阅读全文 →
·14 分钟
Panel AI私有化部署实测：一键入企与算力集群统一调度
深度评测Panel AI 1.1.1版本：秒级安装、无公网组网、算力集群批量管理，企业AI私有化部署门槛大幅降低。涵盖应用市场、角色权限、商业授权等核心功能解析，助力中小团队快速落地企业级AI解决方案。
阅读全文 →
·14 分钟
QuantaMind：本地验证AI Agent可靠性的开源测试工具
QuantaMind是一款免费开源的本地AI Agent可靠性测试工具，采用pass^k评分与确定性评分机制，支持多步序列测试与故障注入，覆盖Ollama、llama.cpp、vLLM等主流部署方案，帮助团队在上线前发现隐藏的序列级失败风险。
阅读全文 →
·10 分钟
LingBot-World 2.0接入SGLang：实时交互世界模型进化全解析
SGLang-Diffusion正式支持LingBot-World 2.0，带来分辨率与时序一致性双重跃升。结合实时会话、分块流式传输与相机控制，世界模型首次实现低延迟可控交互体验，开发者可参考官方Cookbook快速落地。
阅读全文 →
·6 分钟
MOSS-Transcribe-Diarize：0.9B端到端多说话人语音转写模型
MosiAI开源MOSS-Transcribe-Diarize-0.9B，一体化实现语音转写与说话人分离，支持128K上下文单次处理90分钟音频，内置热词增强，SGLang Day-0支持，轻量可部署于边缘设备。
阅读全文 →
·7 分钟
TB/s内存层加速SGLang：X-Mem让TTFT降低6.7倍的技术解析
Netpreme将X-Mem™ MPU接入SGLang HiCache分层KV缓存体系，在98%前缀缓存命中率场景下，TTFT最高降低6.7倍，单用户TPS提升33%-50%。本文深度解析高命中率场景下内存带宽瓶颈的成因与专用内存层的技术价值。
阅读全文 →
·6 分钟
腾讯混元Hy3深度解析：295B MoE模型如何破局Agent落地难题
腾讯混元Hy3正式发布，295B参数MoE架构，激活仅21B，支持256K超长上下文。幻觉率从12.5%降至5.4%，MRCR得分近乎翻倍，内置MTP与EAGLE投机解码，SGLang Day-0即可部署。本文深度拆解其四大核心亮点与Agent-first定位。
阅读全文 →
·7 分钟
AI智能体辅助SGLang内核优化：实测性能提升与工程方法论
SGLang团队将专家经验转化为可执行的智能体技能，实现吞吐量提升71.4%、TTFT从456ms压缩至168ms等实测收益。本文深度解析Agent辅助开发的核心方法论，包括基准测试防作弊机制与人机协同审查闭环。
阅读全文 →
·13 分钟
Ollama获6500万美元B轮：85%财富500强已部署本地大模型
本地大模型工具Ollama完成6500万美元B轮融资，累计融资8800万美元。900万开发者在用，85%财富500强企业内部已部署。本文深度解析企业青睐本地大模型的核心原因：数据合规、Agent降本、开源生态三大驱动力。
阅读全文 →
·9 分钟
Baseten融资15亿美元，AI推理基础设施为何成资本宠儿
AI推理基础设施初创公司Baseten据报即将完成15亿美元融资，估值达130亿美元。本文解析推理赛道火热原因、Baseten的核心定位、行业竞争格局及这笔巨额融资背后的深层信号。
阅读全文 →
·9 分钟
本地部署大模型的5种方法：从入门到生产环境
详解本地部署大模型的5种主流方案：LlamaCPP、Ollama、LM Studio、vLLM/SGLang、MLX-LM，涵盖从个人开发到生产环境的完整选型指南，助你实现数据不出本地的AI私有化部署。
阅读全文 →
前沿研究·7 分钟
Agent Loops实战：从CUDA内核到自动化研究的Token生产力转化
深入解析Humanize框架如何通过Agent Loop将LLM Token转化为工程生产力。涵盖KDA自动编写CUDA内核获竞赛冠军、虚拟硬件优化、研究成本削减50%三大实战案例，探讨Agent-Centric研究的未来方向。
阅读全文 →
科技前沿·6 分钟
SGLang v0.5.12.post1发布：DeepSeek V4稳定性修复与Blackwell适配
SGLang v0.5.12.post1稳定性补丁详解，包含12项关键修复，涵盖DeepSeek V4乱码与崩溃问题、NIXL PD分离式推理逻辑修复、Blackwell B300架构适配及冷启动性能优化。
阅读全文 →
科技前沿·7 分钟
Step 3.7 Flash：198B稀疏MoE多模态模型深度解析
深度解析StepFun AI发布的Step 3.7 Flash，一款198B参数稀疏MoE视觉语言模型，支持256K上下文与三级推理，在多模态理解、AI编程和Agent工具编排方面表现顶尖，已获SGLang首日支持。
阅读全文 →
科技前沿·6 分钟
LFM2.5-8B-A1B：1.5B激活参数实现4倍体量效果的MoE模型
Liquid AI发布LFM2.5-8B-A1B模型，采用MoE架构，8B总参数仅激活1.5B，在工具调用场景中媲美6B级模型表现。支持128K上下文、本地部署、多语言，SGLang即时支持。
阅读全文 →
行业洞察·5 分钟
SGLang进军金融业：AI推理基础设施如何重塑华尔街
SGLang联合Crusoe AI、Cloudflare等举办金融AI推理活动，探讨LLM推理框架在交易、风控、合规等场景的落地应用，解析AI推理基础设施垂直化趋势及金融行业部署前景。
阅读全文 →
行业洞察·7 分钟
AMD MI355X击败B200：DeepSeek-R1推理TCO低5%的全栈优化解析
AMD Instinct MI355X通过SGLang+MoRI全栈优化，在DeepSeek-R1分离式推理中实现TCO比NVIDIA B200低5%，每GPU吞吐量高1.25倍。深度解析MoRI量化通信、KV Cache优化及推测解码等核心技术突破。
阅读全文 →
科技前沿·5 分钟
Cloudflare向SGLang贡献KV Cache与Mooncake关键修复
Cloudflare向SGLang上游提交decode KV cache offload和Mooncake recovery两项关键修复，解决高并发场景下Kimi K2.6模型乱码输出问题，并实现分布式推理节点自动故障恢复，提升生产环境稳定性。
阅读全文 →
科技前沿·5 分钟
SGLang举办Agent Loops主题Office Hour，聚焦智能体循环架构优化
SGLang团队举办Agent Loops主题Office Hour，深入探讨智能体循环调用的推理优化方案，涵盖KV Cache复用、低延迟多轮对话及工具调用等关键技术，助力AI Agent开发者提升推理性能。
阅读全文 →
教程攻略·9 分钟
OpenAI开源GPT-OSS：16G显存跑O4级模型，部署教程全解析
OpenAI正式开源GPT-OSS系列模型（20B/120B），采用MOE架构+FP4混合精度，单卡4090即可运行O3级推理模型。本文详解核心技术、性能评测及Ollama/vLLM等四种本地部署方案。
阅读全文 →