[控场AI]
基准TCSExam-Full / TCSExam-Lite

TCSExam

面向理论计算机科学(TCS)的大语言模型评测基准,包含定理证明、求解器工程、构造和开放猜想四条赛道,使用Lean内核或可执行检查器进行硬性验证,并提供Full(100任务)和Lite(20任务)两个版本。

时间轴 (近 90 天)

11月6日

TCSExam 是一个覆盖理论计算机科学(TCS)全谱系研究能力的统一评测基准,包含定理证明、求解器工程、构造和直接尝试解决开放猜想四条并行赛道。

待验证50%
11月6日

研究团队在 TCSExam-Full 上评测了八个智能体,在 TCSExam-Lite 上评测了九个智能体。

待验证50%
11月6日

TCSExam 的评估过程产生了改进的求解器输出、数学构造,以及从开放猜想尝试中得到的经过独立验证的特殊情形和界。

待验证50%
11月6日

TCSExam 被定位为一个可扩展框架,论文提供了任务来源、Docker 构建配方和评估工具,供社区进行可复现的使用。

待验证50%
11月6日

在 TCSExam 中,Lean 内核充当定理证明赛道和部分构造任务的硬裁判,而求解器工程和可执行构造任务则由实际运行的任务检查器校验,二者共同构成双重校验的客观性基础。

待验证50%

全部知识事实 (5)

来源文章