基准
TruthfulQA
用于评估大语言模型诚实性的基准测试,测试模型是否会重复人类常见误解或生成虚假信息
时间轴 (近 90 天)
9月28日
MMLU、TruthfulQA等主流基准测试已开始关注弃权维度,但业界尚未形成统一的弃权评分标准
待验证50%
9月23日
常见的对齐评估基准包括TruthfulQA和HarmBench
待验证50%
9月17日
当前主流评测基准如MMLU、TruthfulQA、HarmBench大多针对单一维度设计,缺乏对价值观交互效应的系统性测量
待验证50%
9月11日
在TruthfulQA上8bit以85.6%略高于OQ4E的84.8%
待验证50%
9月11日
测试套件共10个,大多数各跑1000题,HumanEval为164题,TruthfulQA为817题
待验证50%