TruLens
一个用于评估和调试LLM应用（尤其是RAG系统）的开源评估框架，支持对检索质量与生成质量进行分层量化评估
时间轴 (近 90 天)
RAGAS、TruLens 等开源评估框架把上下文相关性、忠实度、答案相关性等指标封装为可调用的评估函数，可减少从头搭建度量逻辑的成本。
TruLens提供偏向可观测性的视角，支持对整条RAG流水线进行追踪和记录，便于生产环境中持续监控
Agent的评估(Evals)分为自动评估（如LLM-as-judge、规则匹配）和人工评估两类
RAGAS和TruLens是常见的评估框架，可对RAG流水线各环节（检索质量、答案忠实度、答案相关性等）输出量化指标
主流RAG评估框架包括RAGAS、TruLens、DeepEval，通常从检索质量和生成质量两个维度打分，但对标识符精确匹配和规则条款完整性等特化需求缺乏内建支持
Ragas、TruLens、DeepEval等开源框架提供RAG指标的自动化计算，其中不少采用LLM as a judge方式评分
开源评估框架RAGAS专注于RAG系统评估，与DeepEval等工具正在将评估最佳实践标准化
全部知识事实 (7)
RAGAS、TruLens 等开源评估框架把上下文相关性、忠实度、答案相关性等指标封装为可调用的评估函数，可减少从头搭建度量逻辑的成本。
50%待验证TruLens提供偏向可观测性的视角，支持对整条RAG流水线进行追踪和记录，便于生产环境中持续监控
50%待验证Agent的评估(Evals)分为自动评估（如LLM-as-judge、规则匹配）和人工评估两类
50%待验证RAGAS和TruLens是常见的评估框架，可对RAG流水线各环节（检索质量、答案忠实度、答案相关性等）输出量化指标
50%待验证主流RAG评估框架包括RAGAS、TruLens、DeepEval，通常从检索质量和生成质量两个维度打分，但对标识符精确匹配和规则条款完整性等特化需求缺乏内建支持
50%待验证Ragas、TruLens、DeepEval等开源框架提供RAG指标的自动化计算，其中不少采用LLM as a judge方式评分
50%待验证开源评估框架RAGAS专注于RAG系统评估，与DeepEval等工具正在将评估最佳实践标准化
50%