基准
JevBench
用于评估System One类推理模型性能的基准测试,衡量大型语言模型推理与规划能力
核心事实
时间轴 (近 90 天)
10月18日
在JevBench公开基准(231个可下载问题)上,未改动的4B版本总成绩170/231,Easy组48/48全对,Original组69/72,Hard组仅53/111,61个错误中有58个来自Hard组。
待验证50%
10月18日
JevBench中按任务族拆分,时序与数值问题正确率为0/15,长策略判断为4/19。
待验证50%
10月11日
微软报告在覆盖近15万道题的36基准对比中Decision-1取得最高准确率,并声称其P50延迟比GPT-6 Sol快约35倍
部分验证65%
10月3日
Winnow 是 JevBench 基准测试中排名第一的开源 System One 模型
已过期50%
9月22日
已出现名为 JevBench 的基准测试,专门用于比较 Jev 级决策模型
待验证50%