ConfabQA

研究构建了新基准ConfabQA，包含784个条目，并设置了“模糊的预截断”类别以分离正确性与知识截断的混淆。

在Llama 3.2 3B上，ConfabQA基准上的边际提升在折间波动范围内，但直接针对拒答的探针在PopQA和TriviaQA数据集上实现了18-25个百分点的提升。

正确性信号是模型依赖的，仅在Llama 3.2 3B上具有可移植性：探针边际在ConfabQA、PopQA和TriviaQA之间转移时，81%的边际在测试多数类上得以保留。

该研究开源了基准、评判器和代码。