LongMemEval
长期记忆评测基准,主要测试模型在超长对话历史中定位并正确使用特定信息的能力,涵盖单跳与多跳问答场景
核心事实
时间轴 (近 90 天)
mem0公布LoCoMo 92.5和LongMemEval 94.4的基准测试成绩(2026年4月数字,在其托管平台测得,附注OSS方向性相似)。
awareliquid在LongMemEval上达到Recall@5 96.0%,检索过程零LLM调用。
在 LongMemEval 基准测试中,使用 Gemini 3.8 Flash 作为写入模型时,Hy Memory 2.0.1 在 60 道题中仅答对 43%,而 Aura 1.62.0 答对 95%
在 LongMemEval 测试中,Hy Memory 使用更大检索限制(40 条记忆,约 7,900 字符)时得分仍为 45%,表明信息丢失发生在对话转化为事实的写入阶段而非检索阶段
LongMemEval 是评估长期记忆系统的公开基准,构造约 50 段对话的聊天历史,问题分为知识更新、时间推理、多会话推理、助手记忆和用户记忆等维度,评判由 LLM 依据官方提示词进行语义比对
LoCoMo 侧重多轮长对话中的事实召回与一致性,LongMemEval 覆盖更广泛的长时记忆任务,包括时间推理、冲突消解和遗忘验证,二者在 MAQS-Way 中被用作可度量的验证手段。
Graphiti 的矛盾即失效机制堪称典范(旧边被保留并标记 expired_at),其三家中评估故事最完整(单元测试 + 端到端测试 + LongMemEval 预言机),但在审计接收器、无范围搜索上存在缺口。
MAQS-Way 定位为政策层与审计层之间的路径层,包含 8 条原则(P1–P8)、基于 OMPS 的数据模型、生命周期管理以及可度量的验证手段(LoCoMo、LongMemEval、删除格、负向测试)。
在LongMemEval多跳任务上,严格recall@5表现为:5个chunk时78.8%→85.2%,10个chunk时87.2%→92.8%,20个chunk时持平。
LongMemEval是评估长程记忆能力的基准,其中多跳任务要求系统跨越多条记忆片段进行推理才能回答一个问题。
还有 16 条时间轴事件
全部知识事实 (20)
LoCoMo和LongMemEval等对话回忆基准测量的是对对话历史的问答能力,而非记忆是否改变了工具使用智能体的实际行为
75%待验证mem0公布LoCoMo 92.5和LongMemEval 94.4的基准测试成绩(2026年4月数字,在其托管平台测得,附注OSS方向性相似)。
50%待验证LongMemEval 是评估长期记忆系统的公开基准,构造约 50 段对话的聊天历史,问题分为知识更新、时间推理、多会话推理、助手记忆和用户记忆等维度,评判由 LLM 依据官方提示词进行语义比对
50%待验证Graphiti 的矛盾即失效机制堪称典范(旧边被保留并标记 expired_at),其三家中评估故事最完整(单元测试 + 端到端测试 + LongMemEval 预言机),但在审计接收器、无范围搜索上存在缺口。
50%待验证MAQS-Way 定位为政策层与审计层之间的路径层,包含 8 条原则(P1–P8)、基于 OMPS 的数据模型、生命周期管理以及可度量的验证手段(LoCoMo、LongMemEval、删除格、负向测试)。
50%待验证LoCoMo 侧重多轮长对话中的事实召回与一致性,LongMemEval 覆盖更广泛的长时记忆任务,包括时间推理、冲突消解和遗忘验证,二者在 MAQS-Way 中被用作可度量的验证手段。
50%待验证在LongMemEval多跳任务上,增加检索chunk数量能提升召回,但到20个chunk时进入平台期,说明瓶颈不在检索宽度而在词汇匹配的固有局限。
50%待验证LongMemEval是评估长程记忆能力的基准,其中多跳任务要求系统跨越多条记忆片段进行推理才能回答一个问题。
50%待验证在LongMemEval多跳任务上,严格recall@5表现为:5个chunk时78.8%→85.2%,10个chunk时87.2%→92.8%,20个chunk时持平。
50%待验证LoCoMo、LongMemEval、MemoryAgentBench 提供了可度量的 R@k、时间推理和弃答指标;OWASP Agentic ASI06 专门针对记忆与上下文投毒。
50%待验证LongMemEval和LoCoMo等记忆基准测试衡量的是答案是否正确到达模型以及消耗的上下文token数,而非文档检索本身。
50%待验证MemFold的主要训练场景是persona驱动的个性化任务,但能在无目标域训练的情况下迁移到PrefEval和LongMemEval
50%待验证LongMemEval 是专门评测大型语言模型长期记忆能力的学术基准,模拟跨越数百到数千轮对话的真实场景
50%待验证开发者声称 Hindsight 在 LongMemEval 长期记忆评测基准上达到了 state-of-the-art 水平
50%待验证LongMemEval是专门用于评测LLM长期记忆能力的基准数据集,涵盖单跳事实检索、多跳推理、时间排序、矛盾检测等任务
50%待验证APDMem在LongMemEval基准上进行了测试,在长上下文记忆推理任务上取得强劲表现,且仅访问了全部对话的8%
50%待验证在 LongMemEval 上,CTWM 实现了 24.48% 的 token 削减,同时保持整体准确率持平
50%待验证LongMemEval 专注于长上下文记忆检索,要求模型在数万乃至数十万 token 的历史对话中精确定位特定事实
50%待验证Maximem Synap 声称在 LongMemEval 基准上达到 92% 准确率
50%待验证LongMemEval 主要测试模型在超长对话历史中定位并正确使用特定信息的能力,涵盖单跳与多跳问答场景
50%