AgentX-Trace-Eval
开源自托管的LLM智能体评估工具，采用单一二进制文件+SQLite存储架构，支持OpenTelemetry追踪数据收集，可对LLM评判者本身进行质量评分，使用Apache 2.0许可证
时间轴 (近 90 天)
AgentX-Trace-Eval 是一个开源的、自托管的 LangGraph 智能体评估工具，采用单一二进制文件、默认使用 SQLite 存储，支持通过 Python SDK 或 OpenTelemetry 导出器收集追踪数据
AgentX-Trace-Eval 采用 Apache 2.0 许可证，无需注册账号，不通过作者方计费
该工具的 LLM-as-judge 使用用户自己的 OpenAI / Anthropic / Gemini API key 针对数据集运行评估
该工具的核心差异化设计是给评判者（judge）本身打分，将 judge 的评分与现实信号（用户差评、实际报告结果）做对照，以判断问题出在 Agent 还是 judge
工具包含一个名为 eval-fix workflow 的 Claude Code skill，它会将每条修复建议与实际源代码核对，只应用经得起检验的建议后重新运行评估
作者遇到的一个 bug 是评估框架代码中一个 [:400] 切片操作，它在 judge 看到输出之前就将每条输出截断，删除该行代码后评分从 1.86 飙升到 10
该工具的 OpenTelemetry 目前仅支持 HTTP，尚不支持 gRPC，且完全没有 guardrails（护栏）功能
该工具的引发动机是团队评估一个基于 LangGraph 的客服智能体时，约50条案例的黄金测试集上线后无人维护逐渐失去价值
任何真实的运行追踪都可以带着来源信息（provenance）转化为测试用例
全部知识事实 (8)
任何真实的运行追踪都可以带着来源信息（provenance）转化为测试用例
50%待验证AgentX-Trace-Eval 采用 Apache 2.0 许可证，无需注册账号，不通过作者方计费
50%待验证该工具的 LLM-as-judge 使用用户自己的 OpenAI / Anthropic / Gemini API key 针对数据集运行评估
50%待验证该工具的核心差异化设计是给评判者（judge）本身打分，将 judge 的评分与现实信号（用户差评、实际报告结果）做对照，以判断问题出在 Agent 还是 judge
50%待验证工具包含一个名为 eval-fix workflow 的 Claude Code skill，它会将每条修复建议与实际源代码核对，只应用经得起检验的建议后重新运行评估
50%待验证AgentX-Trace-Eval 是一个开源的、自托管的 LangGraph 智能体评估工具，采用单一二进制文件、默认使用 SQLite 存储，支持通过 Python SDK 或 OpenTelemetry 导出器收集追踪数据
50%待验证该工具的引发动机是团队评估一个基于 LangGraph 的客服智能体时，约50条案例的黄金测试集上线后无人维护逐渐失去价值
50%待验证作者遇到的一个 bug 是评估框架代码中一个 [:400] 切片操作，它在 judge 看到输出之前就将每条输出截断，删除该行代码后评分从 1.86 飙升到 10
50%