基准BIG-Bench Hard / BIG-Bench
BBH
从BIG-Bench中筛选出主流模型表现显著低于随机基线的23项任务组成的评测基准，专门考察逻辑推理、符号操作等难以通过数据记忆解决的能力
时间轴 (近 90 天)
10月20日
在 DeepSeek 真实 LLM 上，研究者在 GSM8K、MATH 和 BBH 三个基准上各取 50 个样本进行评测，GraphEvoResearcher 分别达到 98%、92% 和 82% 的准确率，在所有基线中最高。
待验证50%
10月20日
GSM8K、MATH 和 BBH 是三个常用的推理评测基准，难度梯度明显：GSM8K 为小学数学应用题，MATH 涵盖竞赛级数学题，BBH 包含 23 类需要多步符号操作或策略推理的任务。
待验证50%
10月6日
在全部 38 项基准中，Aplomb 1 在 8 项上拿到 5.3B 以内模型最高分，包括 MMLU-Pro、GPQA Diamond 和 BBH
待验证50%