Arize Phoenix
Arize AI推出的开源LLM可观测性工具，支持对AI应用进行追踪、评估和实验，专注于LLM和Agent的性能分析
时间轴 (近 90 天)
作者使用24个Jev调用样本在Arize Phoenix中配置了prompt、评测（evals）和数据集
业界常见的Trace实现标准是OpenTelemetry的GenAI语义约定，LangSmith、Langfuse、Arize Phoenix等平台都兼容这一格式。
LLM可观测性工具链的代表产品有LangSmith、Helicone、Arize Phoenix等。
Braintrust定价为免费起步，Pro版249美元/月；Confident AI免费起步，Starter版200美元/月；LangSmith免费起步，Plus版39美元/座/月；Langfuse免费，付费版29美元/月起；Arize Phoenix免费，云版50美元/月起；Galileo免费，Pro版100美元/月起；LangWatch免费，付费版29欧元/座/月起；Pydantic Logfire免费，Team版49美元/月起；Latitude免费，Pro版99美元/月；Datadog LLM Observability按用量计费；Fiddler为定制报价。
文章对比了12款AI智能体可观测性与评估工具，包括BotGauge、Braintrust、Confident AI、LangSmith、Langfuse、Arize Phoenix、Galileo、LangWatch、Pydantic Logfire、Latitude、Datadog LLM Observability、Fiddler。
业界已出现LangSmith、Langfuse、Arize Phoenix等专门针对LLM应用的可观测性平台，能够记录每次工具调用的输入输出、token消耗和延迟
OpenTelemetry、LangSmith、Arize Phoenix 等工具已开始标准化 Agent trace 的采集方式
LangSmith、Arize等专项工具正在填补LLM可观测性领域的空白
业界已涌现出LangSmith、Langfuse、Arize Phoenix等专为LLM应用设计的可观测性平台
业界借助OpenTelemetry标准或LangSmith、Langfuse、Arize Phoenix等LLM可观测性平台追踪模型推理的输入输出、token消耗、延迟和工具调用
还有 11 条时间轴事件
全部知识事实 (20)
LangSmith、Langfuse、Arize Phoenix、Braintrust、Helicone等是针对LLM应用的可观测性和评估工具
70%待验证业界已涌现出LangSmith、Langfuse、Arize Phoenix等专为LLM应用设计的可观测性平台
60%待验证作者使用24个Jev调用样本在Arize Phoenix中配置了prompt、评测（evals）和数据集
50%待验证业界常见的Trace实现标准是OpenTelemetry的GenAI语义约定，LangSmith、Langfuse、Arize Phoenix等平台都兼容这一格式。
50%待验证LLM可观测性工具链的代表产品有LangSmith、Helicone、Arize Phoenix等。
50%待验证文章对比了12款AI智能体可观测性与评估工具，包括BotGauge、Braintrust、Confident AI、LangSmith、Langfuse、Arize Phoenix、Galileo、LangWatch、Pydantic Logfire、Latitude、Datadog LLM Observability、Fiddler。
50%待验证业界已出现LangSmith、Langfuse、Arize Phoenix等专门针对LLM应用的可观测性平台，能够记录每次工具调用的输入输出、token消耗和延迟
50%待验证OpenTelemetry、LangSmith、Arize Phoenix 等工具已开始标准化 Agent trace 的采集方式
50%待验证LangSmith、Arize等专项工具正在填补LLM可观测性领域的空白
50%待验证业界借助OpenTelemetry标准或LangSmith、Langfuse、Arize Phoenix等LLM可观测性平台追踪模型推理的输入输出、token消耗、延迟和工具调用
50%待验证成熟的 AI 可观测性工具如 LangSmith、Langfuse、Arize Phoenix 通常提供追踪、跨步骤输入输出记录、Token 用量统计和异常回放能力
50%待验证LangSmith、Langfuse、Arize Phoenix等平台在OpenTelemetry基础上做了针对LLM的扩展，可记录token消耗、模型版本、提示词内容和返回结果并提供轨迹回放
50%待验证Langfuse 和 Arize Phoenix 是可用于记录 Agent 运行轨迹的可观测性平台
50%待验证LangSmith、Langfuse、Arize Phoenix 等工具已开始提供追踪和评估功能，但对任务级成功的结构化度量仍是行业普遍短板
50%待验证业界正在形成AI可观测性标准，如OpenTelemetry的AI语义约定，以及LangSmith、Arize Phoenix等面向LLM应用的可观测性工具
50%待验证LangSmith、Langfuse、Arize Phoenix 等工具已将链路追踪机制专门适配于 LLM 应用，支持按 Trace 回放 Agent 的决策过程
50%待验证新兴的Agent可观测性方案如LangSmith、Arize Phoenix开始记录LLM调用的prompt/completion对和工具调用输入输出
50%待验证智能体可观测性工具包括LangSmith、Arize Phoenix、Weights & Biases Weave等
50%待验证LangSmith、Langfuse、Arize Phoenix、Braintrust、Helicone等平台帮助开发者追踪调用链路、记录token消耗、可视化prompt效果、运行离线评估
50%待验证LangSmith、Langfuse、Arize Phoenix 等工具正试图为Agent提供可观测性能力
50%