幻觉率
衡量大语言模型可靠性的核心指标,指模型在回答中编造看似合理但不真实信息的比例。幻觉率越低表示模型越倾向于承认不确定而非强行编造
时间轴 (近 90 天)
在垂直行业如法务、医疗,AI的幻觉率不应超过1%。
幻觉指标存在口径差异:整体无根据陈述比例与“不会硬编”比例是不同维度的指标,两者可同时出现“整体变好、边界行为变差”的组合。
在面向大众的日常应用中,降低幻觉率和提升不确定性表达(如“我不确定”)的能力,比单纯追求低成本更重要。
降低幻觉率往往伴随拒答率上升或回答保守化,实际落地需在准确率与覆盖率之间权衡
V7研究表明幻觉率下降来自两方面:模型对知识边界的判断更准确,以及上下文图谱在数据摄入阶段过滤了不应记住的事实。
V7建议技术决策者评估企业级AI方案时,应关注模型在自身业务图谱上工具调用错误率和幻觉率的实际水平,而非仅看模型跑分。
在有清晰检索上下文的结构化任务上,最好的模型可以把幻觉率压到约2%以下。
独立基准测试显示,LLM幻觉率大致在15%到50%以上,取决于任务和模型。
论文给出了一个下界:预训练之后,幻觉率至少等于训练集中只出现一次的事实所占的比例。
低幻觉率降低了风险,但不能替代人工对照原文核查。
还有 1 条时间轴事件
全部知识事实 (12)
通过RAG加载外部知识库可以同时降低幻觉率和空答率,但在外部知识固定的情况下两者呈此消彼长的关系
80%待验证在垂直行业如法务、医疗,AI的幻觉率不应超过1%。
50%待验证幻觉指标存在口径差异:整体无根据陈述比例与“不会硬编”比例是不同维度的指标,两者可同时出现“整体变好、边界行为变差”的组合。
50%待验证在面向大众的日常应用中,降低幻觉率和提升不确定性表达(如“我不确定”)的能力,比单纯追求低成本更重要。
50%待验证降低幻觉率往往伴随拒答率上升或回答保守化,实际落地需在准确率与覆盖率之间权衡
50%待验证V7研究表明幻觉率下降来自两方面:模型对知识边界的判断更准确,以及上下文图谱在数据摄入阶段过滤了不应记住的事实。
50%待验证V7建议技术决策者评估企业级AI方案时,应关注模型在自身业务图谱上工具调用错误率和幻觉率的实际水平,而非仅看模型跑分。
50%待验证独立基准测试显示,LLM幻觉率大致在15%到50%以上,取决于任务和模型。
50%待验证在有清晰检索上下文的结构化任务上,最好的模型可以把幻觉率压到约2%以下。
50%待验证论文给出了一个下界:预训练之后,幻觉率至少等于训练集中只出现一次的事实所占的比例。
50%待验证幻觉率是衡量模型在不知道答案时编造内容倾向的指标,需与知识得分分开理解。
50%待验证低幻觉率降低了风险,但不能替代人工对照原文核查。
50%