[控场AI]
论文

ROME

一种大语言模型知识编辑方法,通过定位与目标事实相关的权重并进行矩阵更新实现参数修改,速度快但规模化后可能破坏通用能力

时间轴 (近 90 天)

11月3日

模型编辑的代表性方法包括定位并修改前馈层中的键值记忆,如 ROME、MEMIT。

待验证50%
11月3日

权重编辑的典型方法包括 ROME、MEMIT 等,它们依赖对权重矩阵的定向更新而非 LLM 生成。

待验证50%
11月1日

代表性权重编辑工作包括直接编辑事实知识的 ROME、MEMIT,以及通过任务向量实现能力加减的模型算术。

待验证50%
10月9日

直接参数修改方法通过定位与目标事实相关的权重并进行矩阵更新来实现编辑,速度快但规模化后容易破坏模型的通用能力

待验证50%
10月9日

知识编辑方法主要分为三类:直接参数修改(如ROME、MEMIT)、外挂记忆或检索增强(RAG)、微调

待验证50%
9月17日

现有知识编辑方法如ROME、MEMIT通常假设事实知识集中存储在某几层的MLP权重中,并针对性修改这些权重

待验证50%
8月28日

ROME和MEMIT是精准修改模型知识的知识编辑方法

待验证50%

全部知识事实 (7)

来源文章