概念Hallucination / 幻觉
大模型幻觉
大语言模型生成看似合理、流畅但事实上错误、无依据或与输入不符内容的现象,成因包括训练数据噪声、概率生成机制及缺乏知识边界自我认知,可通过RAG、知识库锚定等方式缓解
核心事实
时间轴 (近 90 天)
10月27日
截至目前,大模型还做不到真正理解人类每一个行为,幻觉和不稳定性仍然存在。
待验证50%
10月23日
团队其他律师反馈,五个模型对同一法律问题给出五个不同的法律意见,说明幻觉常见。
待验证50%
9月29日
由于大模型会产生幻觉、输出不稳定,实际工程中Agent更多靠规则来执行,规则大多通过提示词来设置
待验证50%
9月19日
在Agent链式调用场景下,一步幻觉会被后续步骤当作事实继承,错误会沿流程放大传播
已验证65%
全部知识事实 (10)
已验证
大模型幻觉的技术本质在于模型在训练时学习的是语言模式的概率分布而非事实本身
80%已验证在多步骤自动化场景中,模型幻觉导致的单步错误会沿任务链条指数级放大
75%已验证在Agent链式调用场景下,一步幻觉会被后续步骤当作事实继承,错误会沿流程放大传播
65%已验证大模型幻觉是指语言模型生成看似合理但实际不正确或不存在的内容
65%待验证幻觉(Hallucination)指大语言模型生成看似合理但实际错误或无依据的内容,是当前所有LLM的共性问题,根源在于模型本质上是基于概率的文本生成器而非知识检索系统
85%待验证添加行号后模型能更准确地定位代码位置,减少行号幻觉
75%待验证截至目前,大模型还做不到真正理解人类每一个行为,幻觉和不稳定性仍然存在。
50%待验证团队其他律师反馈,五个模型对同一法律问题给出五个不同的法律意见,说明幻觉常见。
50%待验证由于大模型会产生幻觉、输出不稳定,实际工程中Agent更多靠规则来执行,规则大多通过提示词来设置
50%待验证级联失败是指单次工具调用错误会污染后续上下文,导致模型在错误的中间状态上继续推理,最终使整个任务偏轨
50%