#KV缓存
共 146 篇相关文章
·11 分钟
Ornith 1.0 九B模型本地实测：塔防游戏暴露小模型编程瓶颈
在16GB内存M4 Mac mini上实测Ornith 1.0 9B开源模型的智能体编程能力。塔防游戏任务对比9B与35B模型，揭示小参数模型在代码生成精度上的本质局限，以及本地AI编程工具的真实边界。
阅读全文 →
Relm：让本地大模型成为R语言原生对象的开源工具
·12 分钟
Relm：让本地大模型成为R语言原生对象的开源工具
Relm将本地大语言模型封装为R语言原生对象，支持本地推理、数据隐私保护与可解释性分析。本文深度解析其核心设计理念、差异化亮点及适用场景，为R语言数据科学家提供LLM集成新思路。
阅读全文 →
GPT-5.6三款新模型发布：Luna、Terra、Sol主打智能体长任务
·7 分钟
GPT-5.6三款新模型发布：Luna、Terra、Sol主打智能体长任务
OpenAI正式推出GPT-5.6家族三款模型：Luna、Terra、Sol，支持1M token上下文，主打长任务智能体性能。本文深度解析三档定价策略、Agents' Last Exam基准表现、SWE-Bench Pro争议，以及编程式工具调用、原生多智能体等新API能力。
阅读全文 →
·8 分钟
CPU原生语言模型：用内存带宽协同设计突破推理瓶颈
SiliconLLM项目从零构建CPU原生LLM架构，融合选择性SSM、三值量化（1.58-bit）LUT MLP与细粒度MoE，围绕L3缓存带宽悬崖协同优化。实测三值内核较fp32加速4-5倍，探索消费级CPU本地推理的可行路径。
阅读全文 →
·10 分钟
LingBot-World 2.0接入SGLang：实时交互世界模型进化全解析
SGLang-Diffusion正式支持LingBot-World 2.0，带来分辨率与时序一致性双重跃升。结合实时会话、分块流式传输与相机控制，世界模型首次实现低延迟可控交互体验，开发者可参考官方Cookbook快速落地。
阅读全文 →
·6 分钟
Mac本地AI编程代理实战：Ollama+OpenCode+MCP完整搭建指南
在32GB内存Mac上搭建本地AI编程代理的完整方案：Ollama提供本地推理引擎，OpenCode承担代理框架，MCP记忆服务器实现跨会话上下文保持。代码不出本机，无需订阅费用，兼顾隐私与效率。
阅读全文 →
·16 分钟
GPT-5.6与Grok 4.5同期发布，Meta推出Agent图像模型
OpenAI GPT-5.6扩大预览、xAI Grok 4.5同期开放、Meta发布Agent形态Muse Image图像模型及Muse Video视频模型，苹果与DeepSeek启动自研AI推理芯片计划。一文速览本周AI圈最值得关注的五大动态。
阅读全文 →
·7 分钟
TB/s内存层加速SGLang：X-Mem让TTFT降低6.7倍的技术解析
Netpreme将X-Mem™ MPU接入SGLang HiCache分层KV缓存体系，在98%前缀缓存命中率场景下，TTFT最高降低6.7倍，单用户TPS提升33%-50%。本文深度解析高命中率场景下内存带宽瓶颈的成因与专用内存层的技术价值。
阅读全文 →
·14 分钟
4090跑Qwen3 27B为何这么慢？本地推理性能优化实战
RTX 4090运行Qwen3 27B模型推理耗时超400秒？本文深入分析显存溢出、CPU卸载拖累等核心原因，并提供量化选型、GPU层配置等针对性优化方案，帮你彻底解决本地大模型部署的性能瓶颈。
阅读全文 →
·13 分钟
VSCode接入DeepSeek V4：Claude Code插件配置完整教程
GitHub Copilot学生权益缩水？本文手把手教你在VSCode中安装Claude Code插件，通过CCSwitch工具接入DeepSeek V4 API，2.5折价格享受强大Agent能力，无需切换IDE，适合大陆开发者和学生党。
阅读全文 →
·14 分钟
GPT-5.6全面开放：Sol/Terra/Luna三档模型与四智能体并行深度解析
GPT-5.6正式向所有用户开放，推出Sol、Terra、Luna三档模型，支持四智能体并行工作。本文深度解读官方评测数据、API定价、安全机制与Ultra模式，帮你读懂这次发布的三条核心主线。
阅读全文 →
·10 分钟
GPT-5.6三模型深度评测：Sol、Terra、Luna实测对比分析
OpenAI发布GPT-5.6系列，旗舰Sol、均衡Terra、轻量Luna三款模型全面实测。智能体任务媲美顶级模型，定价最低$1/百万token，与Fable 5、Opus 4.8横向对比，选型建议一览。
阅读全文 →
·13 分钟
腾讯混元HY3正式版开源：300B以下最强，1元/百万tokens
腾讯混元HY3正式版正式开源，API定价低至1元/百万tokens输入，在Agent、推理、编码及长上下文领域显著提升，以Apache 2.0协议发布。同日美团开源万亿参数模型LongCat 2.0，首个在5万张国产算力卡上完成推理的万亿模型。
阅读全文 →
·16 分钟
AI下半场：决胜点从模型转向基础设施
模型能力趋同，推理成本与规模化成为AI竞争新焦点。本文深度解析AI基础设施的核心层次——算力、模型服务、数据检索、编排工具链，以及创业者、技术决策者与工程师应如何把握这一结构性转变带来的机会。
阅读全文 →
·8 分钟
华为盘古2.0-Flash横评：指令遵循第一，代码工程垫底
华为OpenPangu 2.0 Flash横向评测：92B总参数MoE开源模型，指令遵循全场第一（95.9分），数学推理和Agent能力出色，但SWE-Bench工程代码仅63.1分垫底。本文对比千问3.6、DeepSeek V4、MiniMax M2等主流模型，帮你判断盘古2.0是否适合你的业务场景。
阅读全文 →
·5 分钟
GPT-5.6 Sol系列即将发布：三模型架构深度解读
OpenAI本周四或将发布GPT-5.6系列，涵盖Sol、Terra、Luna三款模型。本文从命名逻辑、产品矩阵设计及竞争战略三个维度深度解读这次多模型同步发布的背后意图，帮你理性判断这一消息的真实价值。
阅读全文 →
·9 分钟
GPT-5.6三模型架构解析：Sol/Terra/Luna定价与性能全览
GPT-5.6采用Sol、Terra、Luna三模型架构，Terra以5.5一半价格实现接近旗舰的性能，新增Max与Ultra思考强度档位。本文解析定价策略、使用场景与算力隐忧，帮助开发者做出最优选择。
阅读全文 →
·9 分钟
本地跑大模型是幻觉？开放权重的真实价值与硬件门槛
开放权重≠能本地运行。本文深度拆解GLM 5.2、DeepSeek等大模型的硬件门槛、显存瓶颈、电费成本与并行限制，揭示开源大模型真正的价值：推动云端竞争，而非让普通人在家复刻前沿效果。
阅读全文 →
