[控场AI]
基准

JevBench

用于评估System One类推理模型性能的基准测试,衡量大型语言模型推理与规划能力

核心事实

时间轴 (近 90 天)

10月18日

在JevBench公开基准(231个可下载问题)上,未改动的4B版本总成绩170/231,Easy组48/48全对,Original组69/72,Hard组仅53/111,61个错误中有58个来自Hard组。

待验证50%
10月18日

JevBench中按任务族拆分,时序与数值问题正确率为0/15,长策略判断为4/19。

待验证50%
10月11日

微软报告在覆盖近15万道题的36基准对比中Decision-1取得最高准确率,并声称其P50延迟比GPT-6 Sol快约35倍

部分验证65%
10月3日

Winnow 是 JevBench 基准测试中排名第一的开源 System One 模型

已过期50%
9月22日

已出现名为 JevBench 的基准测试,专门用于比较 Jev 级决策模型

待验证50%

全部知识事实 (4)

来源文章