#LLM可观测性
共 30 篇相关文章
·16 分钟
Acrux Core：开源LLM可观测性平台，自托管替代LangSmith
Acrux Core是一款开源LLM可观测性平台，支持自托管部署，提供提示词管理、工具动态绑定、用户反馈闭环及全链路追踪功能，是LangSmith与Langfuse的免费替代方案。
阅读全文 →
·8 分钟
TraceLLM：基于OpenTelemetry的LLM可观测性开源平台
TraceLLM是一款面向生产级AI应用的开源可观测性平台，基于OpenTelemetry标准，提供Prompt执行追踪、Token消耗监控、延迟分析和全链路调用追踪，帮助工程团队快速定位LLM应用的性能瓶颈与成本问题。
阅读全文 →
·9 分钟
LLM可观测性与Eval实战：大模型上线后的监控评估全指南
深度解析LLM应用上线后的可观测性、评估体系与实验改进闭环。涵盖OpenTelemetry接入、Trace与Session监控、五种评估信号、四个评估层级，以及数据集驱动的自动化改进飞轮，助力AI Agent生产化落地。
阅读全文 →
产品体验·6 分钟
Opik：开源LLM可观测性平台，调试评估监控一站搞定
深度解析Opik开源项目：专为LLM应用打造的全生命周期管理平台，提供链路追踪、自动化评估、幻觉检测和生产监控能力，支持RAG系统和Agent工作流，GitHub星标超19K。
阅读全文 →
·7 分钟
Kubit：用用户行为数据驱动AI Agent优化的产品分析平台
Kubit是一款专为AI Agent产品设计的分析平台，将Agent执行轨迹与用户行为数据关联，帮助产品团队定位re-prompt、流失和转化问题，支持OpenTelemetry、CDP和自带数据仓库等多种接入方式。
阅读全文 →
·9 分钟
Claude Code默认启用Auto模式：AI编程工具智能选型详解
Claude Code默认启用Auto模式，根据任务复杂度动态选择最优模型，实现性能、速度与成本的智能平衡。本文深度解析Auto模式工作原理、适用场景及对开发者的实际影响。
阅读全文 →
·14 分钟
OTel+日志+数据库之外，AI Agent审计真正缺失的三块拼图
当OpenTelemetry全链路追踪、日志归档和数据库快照都已就位，AI Agent审计仍存在决策推理留痕、模型版本快照、非结构化产物取证三大结构性缺口。本文深入分析Agent与传统服务的本质区别，并提供实践自查清单。
阅读全文 →
·15 分钟
可回放A2A陪审团：如何追踪多AI智能体决策影响链路
深入解析可回放A2A陪审团项目，探讨多智能体协作系统中的决策追踪与影响归因技术，涵盖可解释性、影响追踪、调试优化等核心价值与应用场景。
阅读全文 →
·16 分钟
llm-sketchkit：用草图算法解决LLM遥测的高基数与隐私难题
深入解析开源库llm-sketchkit如何利用HLL++、布隆过滤器、MinHash等概率数据结构，在有界内存中实现LLM遥测的去重计数、频次统计与隐私保护，支持Go/Python跨语言互操作。
阅读全文 →
·12 分钟
AI落地的真正瓶颈不是智能：数据、工程与可靠性才是关键
当AI模型智能水平已经够用，为什么企业落地仍然困难重重？本文深入分析AI应用的真正瓶颈——数据获取、工程集成、可靠性和人的因素，为从业者提供务实的资源分配和产品思维建议。
阅读全文 →
·9 分钟
Databricks如何将AI编码成本砍掉70%：策略与启示
Databricks通过智能模型路由、提示缓存、上下文优化和自托管开源模型等策略，成功将AI编码工具成本降低70%。本文解析其降本路径，为企业控制LLM推理成本提供可落地的参考方案。
阅读全文 →
·16 分钟
AI Agent可观测性与评估技术栈全解析
深入解析AI Agent可观测性与评估的三大技术路线：LangSmith原生集成、LangFuse等开源自托管方案、Lyzr一体化平台，帮助团队构建适合多智能体系统的生产级监控与评估体系。
阅读全文 →
·12 分钟
Agent评测框架该自建还是外包？开源作者的深度拷问
AI Agent可靠性验证是自建还是外包？一位开源作者的坦诚提问引发行业深思。本文剖析Agent评测框架的核心方法论：重复运行、末态校验、schema验证与负载测试，探讨评测工具的产品化困境与工程化最佳实践。
阅读全文 →
·7 分钟
Cartha：AI Agent运维控制平面，解决可观测性与成本控制难题
Cartha是一个面向AI Agent的托管式控制平面，提供全链路追踪、硬性预算、作用域记忆隔离、工具白名单等核心能力，帮助开发者解决Agent从demo到生产环境中的可观测性、成本失控与权限管理难题。
阅读全文 →
·15 分钟
从零构建AI Agent：真实开发全流程复盘与避坑指南
基于开发者社区真实经验，详解AI Agent从零构建的完整流程：如何选择第一个任务、工具选型对比（无代码vs框架vs手写）、稳定性调优难点，以及判断Agent是否真正完成的评估标准。
阅读全文 →
·11 分钟
Agent应用基础设施架构：四大核心模式详解
深入解析构建生产级Agent智能体应用所需的基础设施架构模式，涵盖状态持久化、沙箱隔离、LLM可观测性和成本控制四大关键模式，帮助开发者跨越从Demo到生产的鸿沟。
阅读全文 →
·9 分钟
LLMOps工具选型指南：追踪、评估与治理能力深度对比
深度解析LLMOps工具选型难题，横向对比Langfuse、LangSmith、Helicone、Orq.ai在追踪、评估与治理三大核心能力上的优劣，提供实用选型建议与组合方案思路。
阅读全文 →
·8 分钟
如何为团队选择AI Agent平台：5大评估维度与决策框架
为团队选择AI Agent平台时，需从模型灵活性、可观测性、工具集成、安全合规、综合成本五大维度系统评估。本文提供完整的选型决策框架，帮助技术负责人避开厂商锁定等常见误区，做出理性判断。
阅读全文 →
·10 分钟
零成本打造RAG与AI Agent项目：开源工具实战指南
预算有限也能做出高质量AI项目。本文详解如何用Ollama、Groq、Chroma等开源免费工具，从零搭建RAG检索增强生成系统和多Agent协作工作流，附垂直领域项目方案与作品集打造建议。
阅读全文 →
没有最佳Agent框架，只有最合适的选择：主流方案深度对比
·13 分钟
没有最佳Agent框架，只有最合适的选择：主流方案深度对比
LangGraph、PydanticAI、OpenAI Agents SDK、CrewAI……面对眼花缭乱的AI Agent框架，资深开发者给出了反直觉答案：框架选择是匹配问题而非优劣问题。本文提供一套实用决策地图，帮你找到最适合自己项目的Agent框架。
阅读全文 →