#KV Cache
共 103 篇相关文章
科技前沿·4 分钟
Windsurf接入Claude Opus 4.7快速模式，速度提升2.5倍
Windsurf正式接入Claude Opus 4.7快速模式，输出速度提升约2.5倍且保持完整智能水平。本文分析快速模式对开发者编程效率的实际影响，以及AI编程工具市场的竞争格局变化。
阅读全文 →
行业洞察·5 分钟
SGLang进军金融业：AI推理基础设施如何重塑华尔街
SGLang联合Crusoe AI、Cloudflare等举办金融AI推理活动，探讨LLM推理框架在交易、风控、合规等场景的落地应用，解析AI推理基础设施垂直化趋势及金融行业部署前景。
阅读全文 →
教程攻略·6 分钟
AMD GPU部署PD分离式SGLang多节点推理集群教程
详解如何在AMD GPU上部署PD分离式SGLang推理集群，通过单一配置文件实现Prefill-Decode解耦的多节点部署，提升大模型推理吞吐量与延迟表现，附架构原理与适用场景分析。
阅读全文 →
科技前沿·6 分钟
SGLang v0.5.12.post1发布：DeepSeek V4稳定性修复与Blackwell适配
SGLang v0.5.12.post1稳定性补丁详解，包含12项关键修复，涵盖DeepSeek V4乱码与崩溃问题、NIXL PD分离式推理逻辑修复、Blackwell B300架构适配及冷启动性能优化。
阅读全文 →
前沿研究·7 分钟
Agent Loops实战：从CUDA内核到自动化研究的Token生产力转化
深入解析Humanize框架如何通过Agent Loop将LLM Token转化为工程生产力。涵盖KDA自动编写CUDA内核获竞赛冠军、虚拟硬件优化、研究成本削减50%三大实战案例，探讨Agent-Centric研究的未来方向。
阅读全文 →
科技前沿·5 分钟
Cloudflare向SGLang贡献KV Cache与Mooncake关键修复
Cloudflare向SGLang上游提交decode KV cache offload和Mooncake recovery两项关键修复，解决高并发场景下Kimi K2.6模型乱码输出问题，并实现分布式推理节点自动故障恢复，提升生产环境稳定性。
阅读全文 →
行业洞察·7 分钟
AMD MI355X击败B200：DeepSeek-R1推理TCO低5%的全栈优化解析
AMD Instinct MI355X通过SGLang+MoRI全栈优化，在DeepSeek-R1分离式推理中实现TCO比NVIDIA B200低5%，每GPU吞吐量高1.25倍。深度解析MoRI量化通信、KV Cache优化及推测解码等核心技术突破。
阅读全文 →
科技前沿·5 分钟
SGLang举办Agent Loops主题Office Hour，聚焦智能体循环架构优化
SGLang团队举办Agent Loops主题Office Hour，深入探讨智能体循环调用的推理优化方案，涵盖KV Cache复用、低延迟多轮对话及工具调用等关键技术，助力AI Agent开发者提升推理性能。
阅读全文 →
科技前沿·6 分钟
LFM2.5-8B-A1B：1.5B激活参数实现4倍体量效果的MoE模型
Liquid AI发布LFM2.5-8B-A1B模型，采用MoE架构，8B总参数仅激活1.5B，在工具调用场景中媲美6B级模型表现。支持128K上下文、本地部署、多语言，SGLang即时支持。
阅读全文 →
行业洞察·9 分钟
大模型三大岗位深度解析：门槛、技术栈与职业前景
深度解析大模型应用工程师、研发工程师、算法工程师三大核心岗位的技术要求、薪资门槛与发展前景，涵盖RAG、模型微调、推理部署等关键技术栈，助你制定清晰的AI职业规划路径。
阅读全文 →
教程攻略·8 分钟
Claude Code Sub-Agent：多智能体协作提升开发效率实战指南
深入解析 Claude Code Sub-Agent 子智能体机制，通过博客写作+Git提交实战案例，展示如何用多智能体分工协作解决指令丢失、上下文膨胀等问题，附创建方法与未来并行模式展望。
阅读全文 →
行业洞察·6 分钟
NVIDIA Dynamo Snapshot：GPU推理冷启动问题的快照恢复方案
深入解析NVIDIA Dynamo Snapshot如何通过GPU状态快照与恢复机制，将大模型推理服务的冷启动时间从分钟级降至秒级，涵盖Kubernetes集成、技术实现挑战及弹性推理等实际应用场景。
阅读全文 →
科技前沿·6 分钟
DeepSeek OCR2、Kimi K2.5、微软Maia 200同日发布
DeepSeek发布OCR2视觉理解模型，用大语言模型替代CLIP重构视觉编码器；月之暗面推出Kimi K2.5，集群代理模式可调度100+子代理；微软Maia 200定制AI芯片开始部署；阿里发布Qwen3 Max Thinking正式版。
阅读全文 →
产品体验·7 分钟
4×3080Ti本地部署千问3.6 27B跑OpenCode编程实测
使用4张3080Ti 16G魔改显卡本地部署千问3.6 27B FP8模型，配合OpenCode完成系统管理工具开发的完整实测。涵盖硬件配置、推理速度、上下文管理经验及开发效率对比。
阅读全文 →
教程攻略·9 分钟
大模型命名规则解析：参数量、量化格式与显存需求速查
系统拆解大模型命名规则，解释32B参数量、AWQ/GGUF量化格式的含义，提供4-bit量化显存估算公式与速查表，涵盖MOE模型显存陷阱、IMatrix量化推荐及按显存档位的模型选择建议。
阅读全文 →
产品体验·7 分钟
AI编程一体机vs在线大模型：48万年费能换4套本地方案？
深度对比AI编程一体机与在线大模型API的成本差异。以20人开发团队为例，年均Token费用高达48万元，而OnePanel AI编程一体机仅需9.9万元，两个半月即可回本。从成本、安全、延迟、合规四大维度分析本地化AI编程部署方案的实际价值。
阅读全文 →
行业洞察·6 分钟
NVIDIA Blackwell创下金融LLM推理STAC-AI新纪录
NVIDIA Blackwell架构GPU在金融行业权威基准STAC-AI中刷新LLM推理性能纪录。深入解析Blackwell架构优势、TensorRT-LLM软硬件协同优化策略，以及大语言模型在金融交易情绪分析、风控合规等场景的应用前景。
阅读全文 →
教程攻略·4 分钟
OpenClaw零代码构建工业级Agent：部署、记忆管理与飞书自动化实战
详解OpenClaw工业级智能体框架的本地部署流程、长短期记忆管理机制与Skills系统设计，并以HR助理和飞书自动化办公为例，演示如何通过Vibe Coding零代码搭建企业级Agent应用。
阅读全文 →
科技前沿·2 分钟
Gemini 3.5 Flash发布：涨价3倍却全面铺开，AI定价逻辑变了
Google正式发布Gemini 3.5 Flash，跳过preview阶段直接部署到搜索、Gemini应用等核心产品。API定价涨至前代3倍，Flash不再廉价。本文分析定价策略、性能基准测试及行业集体涨价趋势。
阅读全文 →
产品体验
Askmeety评测：Mac本地AI会议记录工具，隐私零上传
·2 分钟
Askmeety评测：Mac本地AI会议记录工具，隐私零上传
深度评测Askmeety——一款完全在Mac本地运行的AI会议笔记工具。无需上传数据到云端，无Bot入侵，支持VisualWalk智能摘要，适合注重隐私保护的专业人士。了解其核心功能、适用场景及与Otter.ai等竞品的对比。
阅读全文 →