[控场AI]
概念Hallucination Rate

幻觉率

衡量大语言模型可靠性的核心指标,指模型在回答中编造看似合理但不真实信息的比例。幻觉率越低表示模型越倾向于承认不确定而非强行编造

时间轴 (近 90 天)

10月31日

在垂直行业如法务、医疗,AI的幻觉率不应超过1%。

待验证50%
10月29日

幻觉指标存在口径差异:整体无根据陈述比例与“不会硬编”比例是不同维度的指标,两者可同时出现“整体变好、边界行为变差”的组合。

待验证50%
10月29日

在面向大众的日常应用中,降低幻觉率和提升不确定性表达(如“我不确定”)的能力,比单纯追求低成本更重要。

待验证50%
10月24日

降低幻觉率往往伴随拒答率上升或回答保守化,实际落地需在准确率与覆盖率之间权衡

待验证50%
10月21日

V7研究表明幻觉率下降来自两方面:模型对知识边界的判断更准确,以及上下文图谱在数据摄入阶段过滤了不应记住的事实。

待验证50%
10月21日

V7建议技术决策者评估企业级AI方案时,应关注模型在自身业务图谱上工具调用错误率和幻觉率的实际水平,而非仅看模型跑分。

待验证50%
10月19日

在有清晰检索上下文的结构化任务上,最好的模型可以把幻觉率压到约2%以下。

待验证50%
10月19日

独立基准测试显示,LLM幻觉率大致在15%到50%以上,取决于任务和模型。

待验证50%
10月18日

论文给出了一个下界:预训练之后,幻觉率至少等于训练集中只出现一次的事实所占的比例。

待验证50%
10月17日

低幻觉率降低了风险,但不能替代人工对照原文核查。

待验证50%

还有 1 条时间轴事件

全部知识事实 (12)

待验证

通过RAG加载外部知识库可以同时降低幻觉率和空答率,但在外部知识固定的情况下两者呈此消彼长的关系

80%
待验证

在垂直行业如法务、医疗,AI的幻觉率不应超过1%。

50%
待验证

幻觉指标存在口径差异:整体无根据陈述比例与“不会硬编”比例是不同维度的指标,两者可同时出现“整体变好、边界行为变差”的组合。

50%
待验证

在面向大众的日常应用中,降低幻觉率和提升不确定性表达(如“我不确定”)的能力,比单纯追求低成本更重要。

50%
待验证

降低幻觉率往往伴随拒答率上升或回答保守化,实际落地需在准确率与覆盖率之间权衡

50%
待验证

V7研究表明幻觉率下降来自两方面:模型对知识边界的判断更准确,以及上下文图谱在数据摄入阶段过滤了不应记住的事实。

50%
待验证

V7建议技术决策者评估企业级AI方案时,应关注模型在自身业务图谱上工具调用错误率和幻觉率的实际水平,而非仅看模型跑分。

50%
待验证

独立基准测试显示,LLM幻觉率大致在15%到50%以上,取决于任务和模型。

50%
待验证

在有清晰检索上下文的结构化任务上,最好的模型可以把幻觉率压到约2%以下。

50%
待验证

论文给出了一个下界:预训练之后,幻觉率至少等于训练集中只出现一次的事实所占的比例。

50%
待验证

幻觉率是衡量模型在不知道答案时编造内容倾向的指标,需与知识得分分开理解。

50%
待验证

低幻觉率降低了风险,但不能替代人工对照原文核查。

50%

来源文章