LLM-IRA
一种基于量子启发式交互式排序聚合的RAG检索融合方法,通过主动选择检索器分歧最大的文档对调用LLM进行偏好判断,学习各检索器融合权重,实现低成本高效果的文档重排序
时间轴 (近 90 天)
LLM-IRA 将量子启发式的交互式排序聚合框架首次扩展到文档重排序。
LLM-IRA 主动挑选多个检索器打分分歧最大的文档对,让 LLM 给出偏好判断,再据此学习各检索器的融合权重。
LLM-IRA 最终排序完全依靠一次线性分数融合完成,不需要维护完整的 pairwise 矩阵,也不需要在线调用 LLM 逐条重排。
论文报告了两种权重更新变体:动量混合(momentum blending)和全累积历史重拟合(full accumulated-history refit)。
LLM-IRA 在 6 个评估基准中的 5 个上达到或数值上超过了强静态融合基线。
两种变体合起来在 6 个基准中的 4 个上,相对最佳无监督聚合器取得 Wilcoxon 符号秩检验 p<0.05 的显著优势:DL19 在动量混合下显著,而 DL20、DBpedia 和 NFCorpus 在全累积历史重拟合下显著。
在 DL19 和 DL20 基准上,LLM-IRA 在每查询仅 5 次 LLM 调用时就已超过最佳无监督基线,远未耗尽典型的 25–30 次调用预算。
与当前先进的零样本 LLM 重排器相比,LLM-IRA 在 LLM 调用量低一个数量级的情况下,达到相近的成本效益。
LLM-IRA 不需要训练数据,也不需要微调模型,属于即插即用型方案。
论文中显著的基准集中在特定数据集上,跨领域的泛化能力有待更多评测。
还有 1 条时间轴事件
全部知识事实 (11)
LLM-IRA 将量子启发式的交互式排序聚合框架首次扩展到文档重排序。
50%待验证LLM-IRA 主动挑选多个检索器打分分歧最大的文档对,让 LLM 给出偏好判断,再据此学习各检索器的融合权重。
50%待验证LLM-IRA 最终排序完全依靠一次线性分数融合完成,不需要维护完整的 pairwise 矩阵,也不需要在线调用 LLM 逐条重排。
50%待验证论文报告了两种权重更新变体:动量混合(momentum blending)和全累积历史重拟合(full accumulated-history refit)。
50%待验证LLM-IRA 在 6 个评估基准中的 5 个上达到或数值上超过了强静态融合基线。
50%待验证两种变体合起来在 6 个基准中的 4 个上,相对最佳无监督聚合器取得 Wilcoxon 符号秩检验 p<0.05 的显著优势:DL19 在动量混合下显著,而 DL20、DBpedia 和 NFCorpus 在全累积历史重拟合下显著。
50%待验证在 DL19 和 DL20 基准上,LLM-IRA 在每查询仅 5 次 LLM 调用时就已超过最佳无监督基线,远未耗尽典型的 25–30 次调用预算。
50%待验证与当前先进的零样本 LLM 重排器相比,LLM-IRA 在 LLM 调用量低一个数量级的情况下,达到相近的成本效益。
50%待验证LLM-IRA 不需要训练数据,也不需要微调模型,属于即插即用型方案。
50%待验证论文中显著的基准集中在特定数据集上,跨领域的泛化能力有待更多评测。
50%待验证LLM-IRA 的价值在于把多检索器融合从手工调权重的经验活变成了一个有理论框架支撑、可交互执行的流程。
50%