Agent可观测性
针对AI Agent运行过程的观测与分析能力，强调记录完整执行轨迹、中间状态和因果关系，支持调试、评估与数据闭环，而非仅监控指标。
核心事实
时间轴 (近 90 天)
Agent可观测性的核心能力应从观测扩展到调试，需要提供完整的执行轨迹、中间状态和因果关系，而不仅仅是错误率等指标。
当选择Agent可观测性方案时，如果它只能提供指标和告警，则它更接近Datadog而非Databricks；完整的方案应能记录多步骤执行轨迹、导出结构化数据用于评估、并支持版本对比和实验管理。
Databricks从单一功能（数据查询）扩展到覆盖数据全生命周期的平台，Agent可观测性也可能经历类似的演进路径。
Agent可观测性平台需要支持实验管理，能够并行运行多个Agent变体，收集相同的评估指标（如任务成功率、工具调用次数、用户满意度），并进行统计显著性检验，类似于MLflow实验跟踪功能但针对Agent特性适配。
Agent可观测性关注每次LLM推理的输入上下文、工具选择、参数构造和最终决策，通过生成可追踪的trace来串联用户意图到下一步决策的完整时间线。
作者给出的核心实践建议是：在重试计数旁边打印len(messages)
传统模型监控能覆盖延迟、漂移和准确率，但当Agent做出一连串决策、按顺序调用多个工具时，这些指标几乎无法说明问题
对大多数团队而言，基于开源框架二次开发是搭建Agent可观测性最务实的折中方案
在Agent场景中，应将一次完整的Agent任务视为一个Trace，每次LLM调用、工具调用、记忆检索都是一个Span
全部知识事实 (9)
在Agent场景中，应将一次完整的Agent任务视为一个Trace，每次LLM调用、工具调用、记忆检索都是一个Span
65%待验证Agent可观测性的核心能力应从观测扩展到调试，需要提供完整的执行轨迹、中间状态和因果关系，而不仅仅是错误率等指标。
50%待验证当选择Agent可观测性方案时，如果它只能提供指标和告警，则它更接近Datadog而非Databricks；完整的方案应能记录多步骤执行轨迹、导出结构化数据用于评估、并支持版本对比和实验管理。
50%待验证Agent可观测性平台需要支持实验管理，能够并行运行多个Agent变体，收集相同的评估指标（如任务成功率、工具调用次数、用户满意度），并进行统计显著性检验，类似于MLflow实验跟踪功能但针对Agent特性适配。
50%待验证Agent可观测性关注每次LLM推理的输入上下文、工具选择、参数构造和最终决策，通过生成可追踪的trace来串联用户意图到下一步决策的完整时间线。
50%待验证作者给出的核心实践建议是：在重试计数旁边打印len(messages)
50%待验证传统模型监控能覆盖延迟、漂移和准确率，但当Agent做出一连串决策、按顺序调用多个工具时，这些指标几乎无法说明问题
50%待验证对大多数团队而言，基于开源框架二次开发是搭建Agent可观测性最务实的折中方案
50%待验证Databricks从单一功能（数据查询）扩展到覆盖数据全生命周期的平台，Agent可观测性也可能经历类似的演进路径。
50%