#语言模型评估
共 3 篇相关文章
·4 分钟
KierstonBench：大模型刑侦调查能力基准测试
KierstonBench是一个基于阿伦敦城市级模拟的基准，用32个任务家族评估语言模型在犯罪调查与监控中的记录链接、轨迹重建与欺骗识别能力，十六款模型测试显示多数无法胜任。
阅读全文 →
·4 分钟
提示词还是概率？大模型语义焦点敏感性的评估之争
语言模型评估中，token概率与提示法在语义焦点敏感性任务上表现分歧：概率法稳定但受模型生成偏好拖累，提示法在大模型上大幅反超。研究揭示评估方法选择如何影响对模型语言能力的判断。
阅读全文 →
·5 分钟
LM数据归因设计空间：负对数几率梯度提升召回率
新研究提出受控归因基准CATT，用虚构知识构造无歧义ground truth，揭示冗余与干扰项持续降低LM数据归因性能；并发现负对数几率梯度替代交叉熵、仅聚合top token分数，可将召回率提升35至72个百分点，在FTRACE-TREX上反事实重训练性能最高提升4.9倍。
阅读全文 →