SWORD
基于Wikidata的系统化对象-关系失真基准，通过受控扰动评估大语言模型跨语言事实核查一致性，采用反向评估方式测试模型拒绝错误陈述的能力
时间轴 (近 90 天)
SWORD的扰动包括随机实体替换和基于属性的语义合理替换两种类型
SWORD通过固定主语和关系、仅替换宾语，生成语法通顺但事实错误的陈述，包括随机实体替换和基于属性的语义合理替换两类扰动
模型在东亚语言（如中文、日语、韩语）上面对失真陈述时出现显著性能退化，跨语言性能差距最高可达28个百分点，相对降幅高达49%
NLP领域的对抗性评估经历了从TextFooler等词级替换攻击、到CheckList等行为测试框架、再到SWORD这类系统化事实扰动方法的演进
SWORD（Systematic Wikidata-based Object-Relation Distortion）是一种基于Wikidata的系统化对象-关系失真基准，通过测试模型能否一致地拒绝错误陈述来评估大模型的事实核查能力
SWORD研究发现模型在语义合理的失真陈述上的准确率反而高于在无意义的随机替换上的表现
SWORD研究者认为模型依赖分布上的熟悉度（distributional familiarity）而非真正的事实验证机制
大模型评估应超越选择题范式，仅测试选对答案不足以衡量真实的事实理解，必须引入拒绝错误的对抗性评估
SWORD（Systematic Wikidata-based Object-Relation Distortion）是一种基于Wikidata三元组进行受控扰动、生成语法通顺但事实错误陈述的事实核查评估基准
文章建议部署多语言AI系统时应针对目标语言构建专门失真测试集、引入多层次事实验证管线、为不同语言设置差异化置信度阈值
还有 7 条时间轴事件
全部知识事实 (17)
SWORD的扰动包括随机实体替换和基于属性的语义合理替换两种类型
50%待验证SWORD通过固定主语和关系、仅替换宾语，生成语法通顺但事实错误的陈述，包括随机实体替换和基于属性的语义合理替换两类扰动
50%待验证模型在东亚语言（如中文、日语、韩语）上面对失真陈述时出现显著性能退化，跨语言性能差距最高可达28个百分点，相对降幅高达49%
50%待验证NLP领域的对抗性评估经历了从TextFooler等词级替换攻击、到CheckList等行为测试框架、再到SWORD这类系统化事实扰动方法的演进
50%待验证SWORD（Systematic Wikidata-based Object-Relation Distortion）是一种基于Wikidata的系统化对象-关系失真基准，通过测试模型能否一致地拒绝错误陈述来评估大模型的事实核查能力
50%待验证SWORD研究发现模型在语义合理的失真陈述上的准确率反而高于在无意义的随机替换上的表现
50%待验证SWORD研究者认为模型依赖分布上的熟悉度（distributional familiarity）而非真正的事实验证机制
50%待验证大模型评估应超越选择题范式，仅测试选对答案不足以衡量真实的事实理解，必须引入拒绝错误的对抗性评估
50%待验证SWORD（Systematic Wikidata-based Object-Relation Distortion）是一种基于Wikidata三元组进行受控扰动、生成语法通顺但事实错误陈述的事实核查评估基准
50%待验证文章建议部署多语言AI系统时应针对目标语言构建专门失真测试集、引入多层次事实验证管线、为不同语言设置差异化置信度阈值
50%待验证SWORD采用反向评估方式，测试模型能否一致地拒绝错误陈述，而非传统基准测试的选对正确答案
50%待验证SWORD基准覆盖八种广泛使用的语言，以系统性检验模型跨语言的事实核查一致性
50%待验证SWORD的扰动包括随机实体替换和基于属性的语义合理替换两个层次
50%待验证研究发现模型在语义合理的失真陈述上的准确率反而高于在无意义的随机替换上的表现
50%待验证研究认为模型依赖于分布上的熟悉度（distributional familiarity）而非真正的事实验证机制来判断陈述真伪
50%待验证研究显示某些模型在东亚语言（中文、日语、韩语）上面对失真陈述时出现显著性能退化，跨语言性能差距最高可达28个百分点，相对降幅高达49%
50%待验证研究指出聚合准确率指标会系统性地掩盖多语言事实推理中的不对称能力，是辛普森悖论的一种体现
50%