DeepEval
面向LLM应用的开源评估框架，提供幻觉检测、答案相关性、RAG评估等多种评估指标，支持CI/CD集成，是AI Eval赛道的代表性工具之一
核心事实
时间轴 (近 90 天)
DeepEval以pytest风格的断言组织评测用例，覆盖幻觉检测、G-Eval自定义评分、Agent工具调用轨迹等维度，便于接入CI。
常见的开源评估方案包括LangSmith、Braintrust、DeepEval等，它们提供追踪、数据集管理和指标计算能力。
该研究的生成侧评估采用DeepEval的claim-level指标，由deepseek-v4-pro担任LLM评判员，并辅以BLEU/ROUGE传统指标。
常见的工具调用评测框架将工具失败拆解为“选错工具”和“选对工具但参数出错”两大类，参数内部又区分为结构和取值两种校验。
DeepEval 将 Tool Correctness 与 Argument Correctness 作为两个独立指标发布。
自动化评测工具如 RAGAS 或 DeepEval 可用于给 Agent 每一步定义 KPI，替代肉眼判断好坏。
DeepEval 的 G-Eval 指标在不传 evaluation_steps 时，会根据 criteria 自动生成评分步骤，导致同一份回复在重跑时可能得到相反的结论，产生漂移。
DeepEval 的首次配置耗时约 40 分钟，运行 40 条数据耗时 4 分 48 秒，成本 1.31 美元，与手工标注的一致率为 31/40。
DeepEval 在评分标准权重之和不为 1.0 时不会报错，不做合理性校验。
在文章中，DeepEval 默认模式下重跑三次有 7 条回复的通过/失败结论至少翻转一次；手工固定 evaluation_steps 后，翻转数降到 3 条，一致率从 31/40 升到 35/40。
还有 11 条时间轴事件
全部知识事实 (20)
工具调用层的评估维度包括Agent是否选择正确工具、是否传入格式正确且语义合理的参数、以及能否正确解析工具返回结果
75%已验证工具调用准确性测试需关注工具选择准确性、参数提取准确性、工具链编排合理性三个层次，其中参数提取往往最容易出问题
65%待验证DeepEval以pytest风格的断言组织评测用例，覆盖幻觉检测、G-Eval自定义评分、Agent工具调用轨迹等维度，便于接入CI。
50%待验证常见的开源评估方案包括LangSmith、Braintrust、DeepEval等，它们提供追踪、数据集管理和指标计算能力。
50%待验证该研究的生成侧评估采用DeepEval的claim-level指标，由deepseek-v4-pro担任LLM评判员，并辅以BLEU/ROUGE传统指标。
50%待验证常见的工具调用评测框架将工具失败拆解为“选错工具”和“选对工具但参数出错”两大类，参数内部又区分为结构和取值两种校验。
50%待验证DeepEval 将 Tool Correctness 与 Argument Correctness 作为两个独立指标发布。
50%待验证自动化评测工具如 RAGAS 或 DeepEval 可用于给 Agent 每一步定义 KPI，替代肉眼判断好坏。
50%待验证DeepEval 的首次配置耗时约 40 分钟，运行 40 条数据耗时 4 分 48 秒，成本 1.31 美元，与手工标注的一致率为 31/40。
50%待验证DeepEval 在评分标准权重之和不为 1.0 时不会报错，不做合理性校验。
50%待验证DeepEval 的 G-Eval 指标在不传 evaluation_steps 时，会根据 criteria 自动生成评分步骤，导致同一份回复在重跑时可能得到相反的结论，产生漂移。
50%待验证在文章中，DeepEval 默认模式下重跑三次有 7 条回复的通过/失败结论至少翻转一次；手工固定 evaluation_steps 后，翻转数降到 3 条，一致率从 31/40 升到 35/40。
50%待验证清理锚点和提示词后，promptfoo 的一致率从 34/40 升至 37/40，DeepEval 从 35/40 升至 36/40。
50%待验证promptfoo 通过 CLI 和 YAML 集成 CI，DeepEval 通过 pytest 集成。
50%待验证在只选一个框架时，若重度依赖 pytest 且没有 YAML 驱动的评测体系，应选 DeepEval，但第一天就要固定 evaluation_steps。
50%待验证RAGAS和DeepEval是常见的智能体/模型评估框架
50%待验证Ragas、DeepEval等评估框架侧重于对RAG流水线或单次推理质量的离线批量测试，适合在CI流程中运行
50%待验证AI 智能体评估（LLM Evaluation）赛道已涌现出 Ragas、DeepEval、LangSmith 和 Brainlid 等代表性产品
50%待验证LLM评估工程上通常借助RAGAS、DeepEval等框架，结合人工标注或用另一个LLM充当裁判来打分
50%待验证主流RAG评估框架包括RAGAS、TruLens、DeepEval，通常从检索质量和生成质量两个维度打分，但对标识符精确匹配和规则条款完整性等特化需求缺乏内建支持
50%