评估指标
评估指标是用于量化评估生成音乐质量的自动度量标准，如Fréchet Audio Distance (FAD)、Kullback-Leibler散度等，但常与人类主观感知存在偏差。
时间轴 (近 90 天)
选择一个评估指标，本质上是在选择你要回答的研究问题。
现有评估几乎只看一个指标：干预后目标 token 的 log-probability 是否下降。
回归测试的指标建议同时记录精确匹配率、关键事实召回率、拒答率与幻觉率，多指标并看能避免通过率上升但回答变得更保守或更啰嗦的隐性退化
计数管道的验收指标必须是分类别、逐目标匹配的精确率/召回率，外加花蕾与花苞比值的显式误差，仅看总数会掩盖结构性错误。
评估转接设计有效性需要互补指标：升级到人工首次响应的时间、同一问题的重复联系率、客户重复信息的频率、升级后未解决的对话比例，且应分开统计工作时间和非工作时间。
评估指标应与业务目标对齐，例如客服Agent应关注问题解决率和用户满意度，而非学术数据集排名。
许多评估指标是在合成数据上推导和验证的，而非真实的人类对话
全部知识事实 (7)
选择一个评估指标，本质上是在选择你要回答的研究问题。
50%待验证现有评估几乎只看一个指标：干预后目标 token 的 log-probability 是否下降。
50%待验证回归测试的指标建议同时记录精确匹配率、关键事实召回率、拒答率与幻觉率，多指标并看能避免通过率上升但回答变得更保守或更啰嗦的隐性退化
50%待验证计数管道的验收指标必须是分类别、逐目标匹配的精确率/召回率，外加花蕾与花苞比值的显式误差，仅看总数会掩盖结构性错误。
50%待验证评估转接设计有效性需要互补指标：升级到人工首次响应的时间、同一问题的重复联系率、客户重复信息的频率、升级后未解决的对话比例，且应分开统计工作时间和非工作时间。
50%待验证评估指标应与业务目标对齐，例如客服Agent应关注问题解决率和用户满意度，而非学术数据集排名。
50%待验证许多评估指标是在合成数据上推导和验证的，而非真实的人类对话
50%