TCSExam
面向理论计算机科学(TCS)的大语言模型评测基准,包含定理证明、求解器工程、构造和开放猜想四条赛道,使用Lean内核或可执行检查器进行硬性验证,并提供Full(100任务)和Lite(20任务)两个版本。
时间轴 (近 90 天)
TCSExam 是一个覆盖理论计算机科学(TCS)全谱系研究能力的统一评测基准,包含定理证明、求解器工程、构造和直接尝试解决开放猜想四条并行赛道。
研究团队在 TCSExam-Full 上评测了八个智能体,在 TCSExam-Lite 上评测了九个智能体。
TCSExam 的评估过程产生了改进的求解器输出、数学构造,以及从开放猜想尝试中得到的经过独立验证的特殊情形和界。
TCSExam 被定位为一个可扩展框架,论文提供了任务来源、Docker 构建配方和评估工具,供社区进行可复现的使用。
在 TCSExam 中,Lean 内核充当定理证明赛道和部分构造任务的硬裁判,而求解器工程和可执行构造任务则由实际运行的任务检查器校验,二者共同构成双重校验的客观性基础。
全部知识事实 (5)
TCSExam 是一个覆盖理论计算机科学(TCS)全谱系研究能力的统一评测基准,包含定理证明、求解器工程、构造和直接尝试解决开放猜想四条并行赛道。
50%待验证研究团队在 TCSExam-Full 上评测了八个智能体,在 TCSExam-Lite 上评测了九个智能体。
50%待验证TCSExam 的评估过程产生了改进的求解器输出、数学构造,以及从开放猜想尝试中得到的经过独立验证的特殊情形和界。
50%待验证TCSExam 被定位为一个可扩展框架,论文提供了任务来源、Docker 构建配方和评估工具,供社区进行可复现的使用。
50%待验证在 TCSExam 中,Lean 内核充当定理证明赛道和部分构造任务的硬裁判,而求解器工程和可执行构造任务则由实际运行的任务检查器校验,二者共同构成双重校验的客观性基础。
50%