[控场AI]
基准

HotpotQA

多跳问答基准数据集,要求模型通过多步推理和信息检索回答复杂问题,常用于评估语言模型的多步推理与检索能力

核心事实

时间轴 (近 90 天)

10月31日

ReAct论文在HotpotQA多跳问答和ALFWorld、WebShop等交互式决策任务上验证了该模式的有效性。

待验证50%
10月20日

该示例让Qwen2.5-3B-Instruct在回答HotpotQA问题的同时学会检索BM25语料库。

待验证50%
10月19日

SAG2不使用嵌入,采用SQLite加BM25,配合轻量“System One”模型在查询时做上下文证据决策,索引约1.16万段落仅需2.36秒且零模型调用,在MuSiQue、2Wiki、HotpotQA上匹配稠密检索的召回水平。

待验证50%
10月7日

多跳问答是一类需要跨越多个独立证据片段才能回答的问题,主流基准包括HotpotQA、MuSiQue和2WikiMultiHopQA

待验证50%
10月2日

该实验在400个样本上展开,数据来源于MuSiQue、HotpotQA和2WikiMultiHopQA三个多跳问答数据集

待验证50%
9月24日

RLDS在HotpotQA和DeepResearch上的提升处于噪声范围内,与这两个任务可回收信息不多的诊断预测一致

待验证50%
9月24日

作者在FrozenLake、HotpotQA、ScienceWorld、DeepResearch四个智能体基准上评估了RLDS

待验证50%
9月10日

2018年杨志林等人发布的HotpotQA数据集首次系统化定义多跳推理挑战,每个问题需从至少两篇维基百科文章提取和组合信息

待验证50%
9月9日

HotpotQA是斯坦福2018年发布的多跳问答数据集,问题需要整合多个维基百科文档中的信息才能回答

待验证50%
9月9日

ReAct在事实核查任务Fever上优于思维链,但在HotpotQA上并非总是胜出

待验证50%

全部知识事实 (13)

已验证

ReAct在HotpotQA、FEVER等复杂推理基准上显著优于单独使用CoT或行动的方法

80%
已验证

ReAct论文通过在HotpotQA、FEVER等多跳推理基准上的实验,证明相比单纯的Chain-of-Thought推理,ReAct在需要外部信息检索的任务上准确率提升了约10%~30%

75%
待验证

ReAct论文在HotpotQA和FEVER等基准测试上证明ReAct模式相比纯推理或纯行动方法都有显著提升

85%
待验证

ReAct论文在HotpotQA多跳问答和ALFWorld、WebShop等交互式决策任务上验证了该模式的有效性。

50%
待验证

该示例让Qwen2.5-3B-Instruct在回答HotpotQA问题的同时学会检索BM25语料库。

50%
待验证

SAG2不使用嵌入,采用SQLite加BM25,配合轻量“System One”模型在查询时做上下文证据决策,索引约1.16万段落仅需2.36秒且零模型调用,在MuSiQue、2Wiki、HotpotQA上匹配稠密检索的召回水平。

50%
待验证

多跳问答是一类需要跨越多个独立证据片段才能回答的问题,主流基准包括HotpotQA、MuSiQue和2WikiMultiHopQA

50%
待验证

该实验在400个样本上展开,数据来源于MuSiQue、HotpotQA和2WikiMultiHopQA三个多跳问答数据集

50%
待验证

RLDS在HotpotQA和DeepResearch上的提升处于噪声范围内,与这两个任务可回收信息不多的诊断预测一致

50%
待验证

作者在FrozenLake、HotpotQA、ScienceWorld、DeepResearch四个智能体基准上评估了RLDS

50%
待验证

2018年杨志林等人发布的HotpotQA数据集首次系统化定义多跳推理挑战,每个问题需从至少两篇维基百科文章提取和组合信息

50%
待验证

HotpotQA是斯坦福2018年发布的多跳问答数据集,问题需要整合多个维基百科文档中的信息才能回答

50%
待验证

ReAct在事实核查任务Fever上优于思维链,但在HotpotQA上并非总是胜出

50%

来源文章