faithfulness
RAGAS评估框架中的指标，衡量生成答案中的每个声明是否都能从检索到的上下文中推断出来。
核心事实
时间轴 (近 90 天)
一道问论文涉及哪些认知偏差的题，一次生成诚实地说论文没有点名具体偏差，relevancy给了0；另一次生成自信地列出一个语料库中不存在的偏差，relevancy反而拿了0.58，只有faithfulness抓住了编造（0.17）。
Faithfulness指标中，法官对同一段答案拆出的claim数量会变化（例如一条答案三次分别被拆成5、10、11条），导致分母变动从而分数波动；Precision和recall由yes/no判断构成，148条chunk判断中有5条在三次之间翻转，22条reference-statement判断中有3条翻转；由于18条参考答案中14条只有一句话，recall在那些题上非0即1。
作者给出了比较两次单次运行的参考门槛：faithfulness约0.15、relevancy约0.08、recall约0.09、precision约0.10（18题规模，9题子集上约宽40%），均值差超过门槛才值得认真对待。
换法官模型让recall移动0.31、faithfulness移动0.26，分别是各自门槛的三倍和接近两倍，说明法官模型的影响大于k参数。
对recall和precision，重跑法官评判保存的结果即可，还省掉生成调用；对faithfulness和relevancy，必须重新生成答案，因为只重判只能捕捉faithfulness约15%的方差，会让它看起来比实际稳定一倍以上。
一道问哪篇论文获最佳论文奖的题，正确答案是'没有'，三次生成都答对了，但faithfulness分别给了1.00、0.33和0.00，因为否定句本身无法对照chunks核验。
在RAG评估中，faithfulness指标约85%的run-to-run方差来自生成的答案，answer relevancy的方差几乎全部来自答案；而context recall和context precision的方差100%来自法官，因为RAGAS计算这两个指标时不读取生成的答案，只比较检索到的chunks与问题、参考答案。
当只重复评判同一批保存的答案时，18题均值的标准差为0.021（faithfulness）到0.035（precision）；重新生成答案后，faithfulness的标准差升至0.054，relevancy从0.002升至0.028。
通用LLM评估指标（如helpfulness、toxicity、faithfulness）是领域无关的，无法检测业务事实错误（如票价规则中24小时与48小时的差异）。
评估检索质量常用Recall@k和MRR，评估生成则通常看答案与来源的一致性、忠实度（faithfulness）。
还有 3 条时间轴事件
全部知识事实 (13)
忠实性（Faithfulness）指模型输出的推理过程是否真实反映其内部计算逻辑，与合理性（Plausibility）形成对照
65%待验证一道问论文涉及哪些认知偏差的题，一次生成诚实地说论文没有点名具体偏差，relevancy给了0；另一次生成自信地列出一个语料库中不存在的偏差，relevancy反而拿了0.58，只有faithfulness抓住了编造（0.17）。
50%待验证作者给出了比较两次单次运行的参考门槛：faithfulness约0.15、relevancy约0.08、recall约0.09、precision约0.10（18题规模，9题子集上约宽40%），均值差超过门槛才值得认真对待。
50%待验证换法官模型让recall移动0.31、faithfulness移动0.26，分别是各自门槛的三倍和接近两倍，说明法官模型的影响大于k参数。
50%待验证对recall和precision，重跑法官评判保存的结果即可，还省掉生成调用；对faithfulness和relevancy，必须重新生成答案，因为只重判只能捕捉faithfulness约15%的方差，会让它看起来比实际稳定一倍以上。
50%待验证一道问哪篇论文获最佳论文奖的题，正确答案是'没有'，三次生成都答对了，但faithfulness分别给了1.00、0.33和0.00，因为否定句本身无法对照chunks核验。
50%待验证在RAG评估中，faithfulness指标约85%的run-to-run方差来自生成的答案，answer relevancy的方差几乎全部来自答案；而context recall和context precision的方差100%来自法官，因为RAGAS计算这两个指标时不读取生成的答案，只比较检索到的chunks与问题、参考答案。
50%待验证当只重复评判同一批保存的答案时，18题均值的标准差为0.021（faithfulness）到0.035（precision）；重新生成答案后，faithfulness的标准差升至0.054，relevancy从0.002升至0.028。
50%待验证Faithfulness指标中，法官对同一段答案拆出的claim数量会变化（例如一条答案三次分别被拆成5、10、11条），导致分母变动从而分数波动；Precision和recall由yes/no判断构成，148条chunk判断中有5条在三次之间翻转，22条reference-statement判断中有3条翻转；由于18条参考答案中14条只有一句话，recall在那些题上非0即1。
50%待验证通用LLM评估指标（如helpfulness、toxicity、faithfulness）是领域无关的，无法检测业务事实错误（如票价规则中24小时与48小时的差异）。
50%待验证评估检索质量常用Recall@k和MRR，评估生成则通常看答案与来源的一致性、忠实度（faithfulness）。
50%待验证当前许多RAG评估框架（如RAGAS）已将faithfulness列为核心指标，但实际工程评测中该步骤常被简化或跳过
50%待验证答案正确率与检索忠实度是两个相互独立的评估维度，忠实度评估需验证答案中每个关键主张能否从检索文档直接溯源
50%