Phoenix
Arize推出的LLM追踪与评测工具,具备OTel原生追踪能力,采用Elastic License 2.0(源码可见而非真正开源)
核心事实
时间轴 (近 90 天)
LangSmith和Phoenix等开源工具提供结构化追踪能力,核心价值是把执行链组织成可查询、可比较的结构
常见的工具调用评测框架将工具失败拆解为“选错工具”和“选对工具但参数出错”两大类,参数内部又区分为结构和取值两种校验。
Phoenix 框架提供了单独的工具选择评估器。
净室开发是一种隔离“阅读原件”与“编写副本”的工程方法,1984年Phoenix用它重建IBM PC BIOS是标志性判例背景。
Phoenix使用的是Elastic-2.0许可证,属于源代码可见而非OSI认证的开源协议
作者推荐带原生LangChain集成的工具为Langfuse、Opik、MLflow、Phoenix和AcruxCore
Laurie Voss 主持的 Evaluations with Phoenix 101 会在 Turing 厅从评估基础讲起
2D仿真器(如FARSITE、Phoenix)内嵌经过验证的物理方程,其输出天然携带精确的燃烧动力学标签
在真实任务运行中执行顺序为 Phoenix 先启动,然后 Hermes 开始工作,Relay 将追踪数据实时导出到 Phoenix
Phoenix 中展示的追踪结构本质上是一棵 Span 树,每个 Span 代表一次离散操作并记录开始时间、结束时间、输入参数与返回值
还有 12 条时间轴事件
全部知识事实 (20)
Phoenix由Arize AI开源,侧重于LLM应用的实验追踪和评估,与Arize的商业ML监控平台形成互补
65%已验证工具调用准确性测试需关注工具选择准确性、参数提取准确性、工具链编排合理性三个层次,其中参数提取往往最容易出问题
65%待验证LangSmith、Phoenix、Helicone等专门的LLM监控平台已经出现,反映业界对AI可观测性的重视
85%待验证AMD R7-H255采用台积电4nm工艺制造
60%待验证LangSmith和Phoenix等开源工具提供结构化追踪能力,核心价值是把执行链组织成可查询、可比较的结构
50%待验证Phoenix 框架提供了单独的工具选择评估器。
50%待验证常见的工具调用评测框架将工具失败拆解为“选错工具”和“选对工具但参数出错”两大类,参数内部又区分为结构和取值两种校验。
50%待验证净室开发是一种隔离“阅读原件”与“编写副本”的工程方法,1984年Phoenix用它重建IBM PC BIOS是标志性判例背景。
50%待验证作者推荐带原生LangChain集成的工具为Langfuse、Opik、MLflow、Phoenix和AcruxCore
50%待验证Phoenix使用的是Elastic-2.0许可证,属于源代码可见而非OSI认证的开源协议
50%待验证2D仿真器(如FARSITE、Phoenix)内嵌经过验证的物理方程,其输出天然携带精确的燃烧动力学标签
50%待验证Phoenix 中 trace 以 turn by turn 逐轮方式呈现,对应智能体每一轮思考-行动循环(ReAct 模式下即一次推理加一次工具调用)
50%待验证Phoenix 中展示的追踪结构本质上是一棵 Span 树,每个 Span 代表一次离散操作并记录开始时间、结束时间、输入参数与返回值
50%待验证在真实任务运行中执行顺序为 Phoenix 先启动,然后 Hermes 开始工作,Relay 将追踪数据实时导出到 Phoenix
50%待验证Patrick Moorhead 是 NVIDIA 技术营销工程师,在演示中展示了用 NeMo Relay 对 Hermes 智能体进行链路追踪并在 Phoenix 中可视化
50%待验证Plug 是 Phoenix 请求处理管道的基础抽象,本质上是接收 %Plug.Conn{} 结构并返回同类型结构的函数或模块
50%待验证conn.assigns 是在同一请求生命周期内跨 Plug 和 Controller 传递数据的标准机制
50%待验证Supabase的Realtime服务使用Elixir语言和Phoenix框架构建,监听PostgreSQL的WAL变更并通过WebSocket推送给客户端
50%待验证LangSmith、Langfuse、Phoenix(Arize AI)等可观测性工具提供从请求到响应的全链路追踪能力
50%待验证业界常用RAG可观测性工具包括LangSmith、Langfuse、Phoenix(Arize AI),提供全链路追踪能力
50%