ContractNLI
专为合同自然语言推理设计的基准数据集，包含550份非披露协议（NDA）和17条假设陈述，要求模型判定合同对假设的蕴含/矛盾/中性关系，并标注支持判定的具体证据段落，具有结论标签与段落级证据的双层标注结构
时间轴 (近 90 天)
该反事实审计覆盖了七个开放权重模型（8B 到 70B 参数规模）以及四个横跨司法推理与合同推理的基准测试。
当模型援引的法律依据被替换为无关权威来源后，裁决发生改变的比率在CaseHOLD上仅为0.0%–21.7%，在ECHR和SCOTUS上为30.0%–76.7%，在ContractNLI上为43.3%–50.0%。
研究使用ContractNLI数据集，其中人工标注的证据段落被完全保留到评估阶段才使用，训练过程中对模型不可见
ContractNLI数据集包含550份非披露协议（NDA）和17条假设陈述，要求模型判定蕴含、矛盾或中性，并标注支持判定的证据段落
Aplomb 1 的训练数据包含 WinoGrande 和 ContractNLI 这两个基准的公开训练集，而它们也在 38 项索引基准之中
研究者通过向语料库中注入矛盾来构造评测基准，使用了三类数据：大学HR手册、注入矛盾的合成语料，以及带外部标注的ContractNLI
ContractNLI是斯坦福为NLI任务构建的数据集，包含真实矛盾，其任务形式是假设对条款而非条款对条款的对称比较
全部知识事实 (7)
该反事实审计覆盖了七个开放权重模型（8B 到 70B 参数规模）以及四个横跨司法推理与合同推理的基准测试。
50%待验证当模型援引的法律依据被替换为无关权威来源后，裁决发生改变的比率在CaseHOLD上仅为0.0%–21.7%，在ECHR和SCOTUS上为30.0%–76.7%，在ContractNLI上为43.3%–50.0%。
50%待验证研究使用ContractNLI数据集，其中人工标注的证据段落被完全保留到评估阶段才使用，训练过程中对模型不可见
50%待验证ContractNLI数据集包含550份非披露协议（NDA）和17条假设陈述，要求模型判定蕴含、矛盾或中性，并标注支持判定的证据段落
50%待验证Aplomb 1 的训练数据包含 WinoGrande 和 ContractNLI 这两个基准的公开训练集，而它们也在 38 项索引基准之中
50%待验证研究者通过向语料库中注入矛盾来构造评测基准，使用了三类数据：大学HR手册、注入矛盾的合成语料，以及带外部标注的ContractNLI
50%待验证ContractNLI是斯坦福为NLI任务构建的数据集，包含真实矛盾，其任务形式是假设对条款而非条款对条款的对称比较
50%