概念
LLM-in-the-loop
一种半自动化的评估数据构建范式：由大语言模型承担初筛、改写、候选选项生成、难度分层等环节，人类专家负责最终标注、校正和质量把关，兼顾规模与质量
时间轴 (近 90 天)
10月20日
大语言模型在RL环境中可以扮演三种角色：任务生成器、环境模拟器和奖励评判器，这种范式被称为LLM-as-a-judge或LLM-in-the-loop。
待验证50%
10月15日
PerSo研究团队构建了一条LLM-in-the-loop的评估流水线来生成评估任务，并通过人工标注进行了验证。
待验证50%
10月15日
LLM-in-the-loop是一种半自动化的评估数据构建范式：由大语言模型承担初筛、改写、候选选项生成、难度分层等环节，人类专家负责最终标注、校正和质量把关。
待验证50%