#KV Cache
共 430 篇相关文章
·8 分钟
从零开发DeepSeek专属Agent：原理、Token优化与自举实战
详解如何零依赖从零开发一个接入DeepSeek V3的AI Agent工具，深入剖析Agent循环机制原理、Token消耗优化策略、缓存命中率提升方法，以及自举式开发的实战经验与技术选型思考。
阅读全文 →
·9 分钟
Firebase AI Logic详解：混合推理、提示模板与多层安全部署方案
深入解析Firebase AI Logic的核心功能：服务端提示模板防止提示泄露、Cloud Function触发器实现自定义业务逻辑、四层纵深安全防御体系、AI监控与上下文缓存控制成本，以及跨平台混合推理方案。
阅读全文 →
·11 分钟
MiniMax M3上线Fireworks：512K上下文与MSA稀疏注意力解析
MiniMax M3模型正式上线Fireworks平台，支持512K超长上下文和多模态输入，MSA稀疏注意力机制实现预填充9倍、解码15倍加速。深度解析其技术架构、定价策略及开源模型竞争格局。
阅读全文 →
·8 分钟
Fireworks AI上线Qwen 3.7 Plus：零数据留存与99.9% SLA企业级部署
Fireworks AI正式上线Qwen 3.7 Plus模型，提供延迟吞吐量优化、零数据留存、99.9% SLA企业级保障。了解开源模型商业化推理服务的全栈部署方案与行业竞争格局。
阅读全文 →
·11 分钟
Qwen3-Coder深度解析：专为长程Agent循环打造的编程模型
深入解析Qwen3-Coder模型的核心能力：11小时连续运行、1万行代码生成、1000+次调用。详解其长程Agent循环架构、推理上下文持久化、思考模式切换等关键技术，以及在Fireworks平台上的部署实践与成本分析。
阅读全文 →
·12 分钟
AI+Java后端学习路线：四阶段从CRUD到高级AI工程师
一套完整的AI+Java后端进阶学习路线，基于Spring AI Alibaba框架，从提示词工程、大模型API集成、RAG知识库到Agent系统，四个阶段帮助Java后端开发者系统掌握AI工程能力，进阶大厂核心岗位。
阅读全文 →
·11 分钟
Fireworks平台支持Nemotron 3 Ultra后训练：一站式微调与部署
Fireworks AI训练平台新增NVIDIA Nemotron 3 Ultra后训练支持，提供SFT、DPO、LoRA及全参数微调，实现训练即部署的无缝工作流，助力开发者快速定制开放权重大模型。
阅读全文 →
·12 分钟
Claude Code本地化部署：三种方案原理与实战指南
详解Claude Code本地化部署的核心架构与三种主流方案（LM Studio、Ollama、vLLM），涵盖环境变量配置、协议转换、硬件选型与模型推荐，助你零成本运行AI编程智能体。
阅读全文 →
·9 分钟
受够所有AI编程助手，游戏开发大佬自己写了一个编码代理
资深游戏开发者Mario试遍Claude Code等AI编码工具后深感不满，自己动手打造了极简编码代理框架Pi。本文详解他对现有工具的深度批评，以及Pi以开发者控制权为核心的设计哲学。
阅读全文 →
·9 分钟
本地部署大模型的5种方法：从入门到生产环境
详解本地部署大模型的5种主流方案：LlamaCPP、Ollama、LM Studio、vLLM/SGLang、MLX-LM，涵盖从个人开发到生产环境的完整选型指南，助你实现数据不出本地的AI私有化部署。
阅读全文 →
·11 分钟
DiffusionGemma：Google开源扩散式语言模型，速度超500 tokens/s
Google发布开源扩散式语言模型DiffusionGemma，采用Apache 2.0许可，26B参数MoE架构实测超500 tokens/s。了解扩散式文本生成原理、性能表现及与自回归模型的速度对比。
阅读全文 →
·10 分钟
Claude Code连接本地大模型：免Token部署方案与配置指南
详解Claude Code本地化部署的三层架构原理，对比Ollama、LM Studio、vLLM等推理引擎方案，涵盖环境变量配置、协议转换、硬件选型等实操要点，助你实现零Token成本的AI编程体验。
阅读全文 →
·11 分钟
7.9元用上Claude Code：国产模型平替配置全攻略
详解Claude Code安装配置与国产模型平替方案，通过硅基流动、DeepSeek等服务商，低至7.9元即可体验终端级AI编程助手，附环境变量配置教程与常见踩坑指南。
阅读全文 →
·9 分钟
LLM基础设施建设全解析：从GPU集群到推理优化的核心挑战
深入解析LLM基础设施建设的核心挑战与关键技术栈，涵盖GPU集群管理、模型推理优化、分布式训练流程、成本控制与可观测性建设，为技术团队提供系统性的LLM Infra实践指南。
阅读全文 →
·9 分钟
LFM2.5本地部署实测：8B参数碾压GPT-o3s的工具调用能力
实测Liquid AI开源的LFM2.5模型本地部署全过程，包括架构解析、16GB显存踩坑记录、GraphRAG工具调用对比GPT-o3s，揭示8.3B参数模型如何在Agent任务中以更少资源实现更强表现。
阅读全文 →
·9 分钟
Cursor接入第三方API用最新模型？风险与替代方案深度分析
分析Cursor通过第三方API中转服务使用GPT-5.5、Claude Opus 4等最新模型的方案，揭示数据安全、服务稳定性、封号等核心风险，并提供官方订阅、自建API、本地部署等更稳妥的替代方案。
阅读全文 →
·9 分钟
DeepSeek GUI实测：缓存优先的本地AI编程助手有多强
深度实测DeepSeek GUI全能编程工作台，解析KUN本地运行时、缓存优先架构、任务调度系统等核心功能，对比Token成本优势，帮助开发者评估这款本地优先AI编程助手的实际价值。
阅读全文 →
·9 分钟
AI工程师求职：从Demo到生产系统的能力跃迁
AI岗位需求暴涨但企业招不到人，根源在于会调API不等于能搭建生产系统。本文解析AI工程师必备的三大核心能力：高阶RAG、本地模型部署优化、全链路运维监控，帮你完成从Demo选手到生产力选手的跃迁。
阅读全文 →
