RAG评估
针对RAG（检索增强生成）系统的系统性评估方法论，通过量化指标衡量检索召回率、生成准确性等多个环节的质量，帮助定位问题并指导优化
核心事实
时间轴 (近 90 天)
一种常见的失望体验是评估报告指出了问题却没有给出可执行的修复路径，导致团队拿着分数不知道下一步做什么。
大模型评估、RAG评估、智能体评估是三个不同层次的问题，不能混用同一套方法论。
避免使用“总结这份文档”类问题，应使用对抗性检索问题（互相矛盾的条款、埋在附录里的例外情况、只出现在表格里的数字）来评估RAG检索质量。
RAG评估的核心是判断系统'检索到的内容'和'生成出的答案'是否真正满足用户需求，通常包含检索质量与生成质量两层。
生成忠实度、上下文相关性、答案相关性三者共同构成 RAG 评估的经典三角框架。
如果答案通常落在单个文本块中，应优先看MRR和Hit rate；如果答案跨多个文本块，应优先看Recall和nDCG。
一个基于错误段落生成的流畅回答，依然是失败结果。
构建小型测试集应从30到50个真实问题开始，每个问题附带正确答案和包含答案的文档，分别衡量检索（正确文本块是否出现在靠前结果中）和生成（最终答案是否由检索文本支撑）两方面。
评估的首要目标是准确性，而非性能
程序化评估流程包括生成问题集及参考答案、驱动RAG跑出实际答案、对比实际答案与参考答案打分，跑测前最好先做人工校验
还有 1 条时间轴事件
全部知识事实 (11)
RAG评估的核心是判断系统'检索到的内容'和'生成出的答案'是否真正满足用户需求，通常包含检索质量与生成质量两层。
65%待验证一种常见的失望体验是评估报告指出了问题却没有给出可执行的修复路径，导致团队拿着分数不知道下一步做什么。
50%待验证大模型评估、RAG评估、智能体评估是三个不同层次的问题，不能混用同一套方法论。
50%待验证避免使用“总结这份文档”类问题，应使用对抗性检索问题（互相矛盾的条款、埋在附录里的例外情况、只出现在表格里的数字）来评估RAG检索质量。
50%待验证生成忠实度、上下文相关性、答案相关性三者共同构成 RAG 评估的经典三角框架。
50%待验证如果答案通常落在单个文本块中，应优先看MRR和Hit rate；如果答案跨多个文本块，应优先看Recall和nDCG。
50%待验证一个基于错误段落生成的流畅回答，依然是失败结果。
50%待验证构建小型测试集应从30到50个真实问题开始，每个问题附带正确答案和包含答案的文档，分别衡量检索（正确文本块是否出现在靠前结果中）和生成（最终答案是否由检索文本支撑）两方面。
50%待验证评估的首要目标是准确性，而非性能
50%待验证程序化评估流程包括生成问题集及参考答案、驱动RAG跑出实际答案、对比实际答案与参考答案打分，跑测前最好先做人工校验
50%待验证自动化评估形成两级优化机制：程序化评估由程序员初筛（上线基本门槛），人工评估由业务/测试人员终审（贴近真实用户的最终打磨）
50%