Sieve and Sage
发表于arXiv的研究框架,专门解决检索增强语言模型(RALM)的弃权决策问题,通过将检索失败解耦为不可回答和被干扰两种状态,设计轻量筛选(Sieve)+重型推理(Sage)的两级流水线提升RAG系统的可靠性
时间轴 (近 90 天)
Sieve and Sage 是一个发表于 arXiv 的框架,用于解决检索增强语言模型(RALM)何时应该弃权的问题
Sieve and Sage 框架将检索失败解耦为两种状态:不可回答状态(Unanswerable)和被干扰状态(Distracted)
不可回答状态(Unanswerable)指所需证据根本不存在于检索结果中,正确做法是直接弃权
被干扰状态(Distracted)指相关证据存在但混杂着相互冲突、被否定或对抗性的信息
相比单阶段基线,Sieve and Sage 系统准确率最高提升 69.4 个百分点
Sieve and Sage 的 Macro-F1 指标最高提升 55.2 个百分点
Sieve and Sage 的推理速度实现最高 1.99 倍加速
研究团队在通用领域和高风险专家领域两类场景下对该框架进行了评估
全部知识事实 (8)
Sieve and Sage 是一个发表于 arXiv 的框架,用于解决检索增强语言模型(RALM)何时应该弃权的问题
50%待验证Sieve and Sage 框架将检索失败解耦为两种状态:不可回答状态(Unanswerable)和被干扰状态(Distracted)
50%待验证不可回答状态(Unanswerable)指所需证据根本不存在于检索结果中,正确做法是直接弃权
50%待验证被干扰状态(Distracted)指相关证据存在但混杂着相互冲突、被否定或对抗性的信息
50%待验证相比单阶段基线,Sieve and Sage 系统准确率最高提升 69.4 个百分点
50%待验证Sieve and Sage 的 Macro-F1 指标最高提升 55.2 个百分点
50%待验证Sieve and Sage 的推理速度实现最高 1.99 倍加速
50%待验证研究团队在通用领域和高风险专家领域两类场景下对该框架进行了评估
50%