LongBench
用于评估大语言模型长上下文理解能力的基准测试集,涵盖问答、摘要等任务。
时间轴 (近 90 天)
在LongBench多个子任务上,MERLIN在Mamba-2-780M上提升12.0%。
在LongBench多个子任务上,MERLIN在Gated DeltaNet-1.3B上提升13.5%。
在 LongBench v1/v2 和 MemoryAgentBench 上,NoteBank 也报告了改善,覆盖从三个 1.3B 研究模型一直到 Mamba-2-8B 和训练后的 Qwen3.5-9B。
Latent Compaction 在 RULER、LongBench 和 Phonebook Lookup 等基准测试中展现出优势。
智能体记忆的瓶颈在于写入路径,而大多数记忆基准(如LongBench、Needle-in-a-Haystack)只测试长上下文检索与推理,隐式假设记忆已被正确写入
评估长记忆系统常用的基准测试包括RULER、NIAH(Needle-in-a-Haystack)及LongBench
在LongBench测试中由于没有任务需要顺序访问,KVFetch的时序召回通道保持休眠状态,不产生额外开销
LongBench是长上下文理解领域广泛使用的综合评测基准,涵盖单文档问答、多文档问答、摘要、少样本学习、代码补全和合成任务,测试文档长度普遍超过8K tokens,部分超过32K tokens
AttSVD的测试覆盖了一个智能体基准和完整的LongBench长上下文评测套件
开源社区常用的benchmark(如MMLU、HumanEval、MATH、LongBench等)存在数据污染风险
全部知识事实 (10)
在LongBench多个子任务上,MERLIN在Mamba-2-780M上提升12.0%。
50%待验证在LongBench多个子任务上,MERLIN在Gated DeltaNet-1.3B上提升13.5%。
50%待验证在 LongBench v1/v2 和 MemoryAgentBench 上,NoteBank 也报告了改善,覆盖从三个 1.3B 研究模型一直到 Mamba-2-8B 和训练后的 Qwen3.5-9B。
50%待验证Latent Compaction 在 RULER、LongBench 和 Phonebook Lookup 等基准测试中展现出优势。
50%待验证智能体记忆的瓶颈在于写入路径,而大多数记忆基准(如LongBench、Needle-in-a-Haystack)只测试长上下文检索与推理,隐式假设记忆已被正确写入
50%待验证评估长记忆系统常用的基准测试包括RULER、NIAH(Needle-in-a-Haystack)及LongBench
50%待验证在LongBench测试中由于没有任务需要顺序访问,KVFetch的时序召回通道保持休眠状态,不产生额外开销
50%待验证LongBench是长上下文理解领域广泛使用的综合评测基准,涵盖单文档问答、多文档问答、摘要、少样本学习、代码补全和合成任务,测试文档长度普遍超过8K tokens,部分超过32K tokens
50%待验证AttSVD的测试覆盖了一个智能体基准和完整的LongBench长上下文评测套件
50%待验证开源社区常用的benchmark(如MMLU、HumanEval、MATH、LongBench等)存在数据污染风险
50%