RULER
由NVIDIA提出的长上下文评测套件，包含检索、多跳追踪、聚合等多种合成任务，支持自定义上下文长度（如4K至128K），被广泛用于衡量模型在长文本中的有效信息利用能力。
时间轴 (近 90 天)
在RULER needle-in-a-haystack和长上下文问答任务上，MERLIN相比基线在Gated DeltaNet-1.3B上提升8.3%。
RULER 是由英伟达等机构在 2024 年提出的长上下文评测基准，包含检索、多跳追踪、聚合和问答四大类任务。
在 RULER 基准的 10M 长度单针检索任务中，Fern 0.1 取得了 100% 的成绩。
在六个 RULER 大海捞针任务、一百万 token 的设置下，论文报告 GDN 的平均准确率从 1.7% 提升到 70.3%。
Latent Compaction 在 RULER 基准 32 倍压缩率下达到 96.7% 准确率，而 KVZip+ 仅为 40.0%。
RULER 基准由 NVIDIA 提出，包含检索、多跳追踪、聚合等多种合成任务，支持 4K 至 128K 上下文长度。
Latent Compaction 在 RULER、LongBench 和 Phonebook Lookup 等基准测试中展现出优势。
SubQ Snap 所有性能数据均来自 Subquadratic 自身，未经过外部实验室独立测试，且长上下文测试是其对 RULER 和 LCR 的自行改版。
评估长记忆系统常用的基准测试包括RULER、NIAH（Needle-in-a-Haystack）及LongBench
RULER是专为评估长上下文模型能力设计的基准测试集，涵盖单跳多跳检索、问答、摘要及逐字拷贝等任务，通常在16K至128K上下文长度下评测
还有 5 条时间轴事件
全部知识事实 (15)
在RULER needle-in-a-haystack和长上下文问答任务上，MERLIN相比基线在Gated DeltaNet-1.3B上提升8.3%。
50%待验证RULER 是由英伟达等机构在 2024 年提出的长上下文评测基准，包含检索、多跳追踪、聚合和问答四大类任务。
50%待验证在 RULER 基准的 10M 长度单针检索任务中，Fern 0.1 取得了 100% 的成绩。
50%待验证在六个 RULER 大海捞针任务、一百万 token 的设置下，论文报告 GDN 的平均准确率从 1.7% 提升到 70.3%。
50%待验证Latent Compaction 在 RULER 基准 32 倍压缩率下达到 96.7% 准确率，而 KVZip+ 仅为 40.0%。
50%待验证RULER 基准由 NVIDIA 提出，包含检索、多跳追踪、聚合等多种合成任务，支持 4K 至 128K 上下文长度。
50%待验证Latent Compaction 在 RULER、LongBench 和 Phonebook Lookup 等基准测试中展现出优势。
50%待验证SubQ Snap 所有性能数据均来自 Subquadratic 自身，未经过外部实验室独立测试，且长上下文测试是其对 RULER 和 LCR 的自行改版。
50%待验证评估长记忆系统常用的基准测试包括RULER、NIAH（Needle-in-a-Haystack）及LongBench
50%待验证RULER是专为评估长上下文模型能力设计的基准测试集，涵盖单跳多跳检索、问答、摘要及逐字拷贝等任务，通常在16K至128K上下文长度下评测
50%待验证聚合指标（如多任务平均分）天然具有稀释失败的能力，当较简单任务占多数时平均分可以掩盖模型在少数高难度任务上的显著退化
50%待验证RULER是2024年由NVIDIA研究团队提出的长上下文评估基准，包含13个合成任务
50%待验证RULER的13个任务中，6个NIAH任务符合合作特征，2个QA任务使用多年前的数据集，VT任务含有大量无关上下文
50%待验证论文可通过只报告聚合平均分来掩盖模型在NIAH-MK3等高难度子任务上的性能退化
50%待验证RULER是2024年由NVIDIA研究团队提出的长上下文评估基准，包含13个合成任务，分为NIAH、Variable Tracking、Common/Frequent Words Extraction及基于SQuAD/HotpotQA的问答四大类
50%