ROUGE
Recall-Oriented Understudy for Gisting Evaluation，一组用于评估自动摘要和机器翻译质量的词法评估指标，通过计算候选文本与参考文本之间的n-gram重叠率来衡量文本相似度
核心事实
时间轴 (近 90 天)
与通用摘要基准（如ROUGE、BERTScore）不同，基于参考文献的评估指标关注信息是否被正确归因，而非词汇重叠程度
该研究的生成侧评估采用DeepEval的claim-level指标，由deepseek-v4-pro担任LLM评判员，并辅以BLEU/ROUGE传统指标。
基于参考的指标（如BLEU、ROUGE、METEOR）通过计算n-gram重叠度或语义相似度评分，但奖励表面模仿，无法判断内容是否忠实于输入图谱。
评估摘要质量时，除ROUGE等字面重叠指标外，还应引入“条件保留率”等语义完整性度量。
BLEU和ROUGE等自动指标要求存在一条高质量参考译文，而许多真实场景中并不具备这一条件。
BLEU和ROUGE等自动指标只做表面匹配，无法识别语义错误，也无法区分错误严重程度。
ROUGE基于召回率统计n-gram重合度，BLEU基于精确率并加入长度惩罚，两者都只看字面重叠，对同义替换敏感。
BLEU、ROUGE 是基于参考答案的自动化评估指标，主要用于翻译或摘要任务
文本领域使用困惑度（Perplexity）或ROUGE分数评估流畅度与相关性
在DoGBench之前，评估AI生成文档的质量大多依赖主观判断或通用文本指标如BLEU、ROUGE
还有 14 条时间轴事件
全部知识事实 (20)
智能体评估的主流方案包括LLM-as-Judge、轨迹匹配和结果验证
90%已验证BLEU常用于机器翻译评估，ROUGE广泛应用于摘要任务，两者均通过统计n-gram重叠程度衡量文本质量
75%待验证与通用摘要基准（如ROUGE、BERTScore）不同，基于参考文献的评估指标关注信息是否被正确归因，而非词汇重叠程度
50%待验证该研究的生成侧评估采用DeepEval的claim-level指标，由deepseek-v4-pro担任LLM评判员，并辅以BLEU/ROUGE传统指标。
50%待验证基于参考的指标（如BLEU、ROUGE、METEOR）通过计算n-gram重叠度或语义相似度评分，但奖励表面模仿，无法判断内容是否忠实于输入图谱。
50%待验证评估摘要质量时，除ROUGE等字面重叠指标外，还应引入“条件保留率”等语义完整性度量。
50%待验证BLEU和ROUGE等自动指标要求存在一条高质量参考译文，而许多真实场景中并不具备这一条件。
50%待验证BLEU和ROUGE等自动指标只做表面匹配，无法识别语义错误，也无法区分错误严重程度。
50%待验证ROUGE基于召回率统计n-gram重合度，BLEU基于精确率并加入长度惩罚，两者都只看字面重叠，对同义替换敏感。
50%待验证BLEU、ROUGE 是基于参考答案的自动化评估指标，主要用于翻译或摘要任务
50%待验证文本领域使用困惑度（Perplexity）或ROUGE分数评估流畅度与相关性
50%待验证在DoGBench之前，评估AI生成文档的质量大多依赖主观判断或通用文本指标如BLEU、ROUGE
50%待验证ROUGE侧重召回率，常用于摘要评估
50%待验证BLEU、ROUGE等通用文本指标只关注字面词语匹配，无法衡量用户按文档操作后能否真正完成任务
50%待验证现有生成式AI评估方法依赖BLEU、ROUGE等文本重叠指标或LLM-as-judge，但在评估演示文稿时存在无法捕捉叙事逻辑和视觉布局的局限
50%待验证仅靠 BLEU、ROUGE 或整体准确率等聚合指标来评估上下文压缩策略是不充分的，因为它们衡量的是典型情况下的平均表现而非最坏情况的覆盖保障
50%待验证在商业对话场景中，以BLEU、ROUGE或人工打分为导向的优化路径可能存在目标错位的风险
50%待验证ROUGE通过计算系统摘要与参考摘要之间的n-gram重叠率来量化摘要质量，ROUGE-1、ROUGE-2和ROUGE-L分别衡量单字、双字和最长公共子序列的重叠程度
50%待验证ROUGE指标存在长度偏差：生成较短摘要的模型在精确率占优，较长摘要模型在召回率占优，且ROUGE不能衡量事实一致性
50%待验证传统指标如BLEU、ROUGE对语义质量、逻辑连贯性等开放式维度的感知不如LLM-as-a-judge接近人类判断
50%