ScienceWorld
长程具身科学任务基准,要求智能体在模拟环境中完成复杂的科学实验任务,用于评估智能体的长程规划与具身推理能力
时间轴 (近 90 天)
该复现研究覆盖ALFWorld、ScienceWorld、Search-QA和WebShop四个智能体任务环境,横跨三种模型规模,对比了10种代表性自蒸馏方法与GRPO基线。
CoPE 在五个基准上进行了验证:ALFWorld、ScienceWorld、WebShop、τ²-bench 和 AppWorld。
在 ScienceWorld 上,CoPE 的样本效率相比 ECHO 提升最高 1.9 倍,相比 GRPO 提升最高 2.0 倍。
SkillScaffold在ALFWorld、WebShop、ScienceWorld和τ²-Bench四个基准上进行了评估,并在短程和长程任务上都超越了强智能体RL基线和技能驱动RL基线。
ScienceWorld基于TextWorld引擎构建,要求智能体在文本模拟实验室中完成物理、化学等科学推理任务
研究团队在ScienceWorld和ALFWorld两个交互式环境基准上验证了SAGA,任务完成表现取得提升
作者在FrozenLake、HotpotQA、ScienceWorld、DeepResearch四个智能体基准上评估了RLDS
RLDS在ScienceWorld上每步墙钟时间比标量GRPO减少10.9%,原因是长轨迹摊薄了反思与评分的固定开销
RLDS在ScienceWorld上提升+11.5分(95%置信区间[+9.8, +13.3]),在FrozenLake上提升+9.8分([+7.0, +12.8])
全部知识事实 (9)
该复现研究覆盖ALFWorld、ScienceWorld、Search-QA和WebShop四个智能体任务环境,横跨三种模型规模,对比了10种代表性自蒸馏方法与GRPO基线。
50%待验证CoPE 在五个基准上进行了验证:ALFWorld、ScienceWorld、WebShop、τ²-bench 和 AppWorld。
50%待验证在 ScienceWorld 上,CoPE 的样本效率相比 ECHO 提升最高 1.9 倍,相比 GRPO 提升最高 2.0 倍。
50%待验证SkillScaffold在ALFWorld、WebShop、ScienceWorld和τ²-Bench四个基准上进行了评估,并在短程和长程任务上都超越了强智能体RL基线和技能驱动RL基线。
50%待验证ScienceWorld基于TextWorld引擎构建,要求智能体在文本模拟实验室中完成物理、化学等科学推理任务
50%待验证研究团队在ScienceWorld和ALFWorld两个交互式环境基准上验证了SAGA,任务完成表现取得提升
50%待验证作者在FrozenLake、HotpotQA、ScienceWorld、DeepResearch四个智能体基准上评估了RLDS
50%待验证RLDS在ScienceWorld上每步墙钟时间比标量GRPO减少10.9%,原因是长轨迹摊薄了反思与评分的固定开销
50%待验证RLDS在ScienceWorld上提升+11.5分(95%置信区间[+9.8, +13.3]),在FrozenLake上提升+9.8分([+7.0, +12.8])
50%