概念Language Model Maintenance Objective / 语义维护目标
语义维护损失
一种正则化损失函数,通过约束演化后的文本嵌入与原始预训练语言模型嵌入之间的差异,防止文本表示在协同演化中过度偏离通用语义空间。
时间轴 (近 90 天)
10月20日
框架引入语言模型维护目标,将演化中的文本嵌入锚定到原始语义结构上,防止语义失真。
待验证50%
10月20日
对比预训练损失和语义维护损失共同作用,实现受控的协同演化。
待验证50%
一种正则化损失函数,通过约束演化后的文本嵌入与原始预训练语言模型嵌入之间的差异,防止文本表示在协同演化中过度偏离通用语义空间。
框架引入语言模型维护目标,将演化中的文本嵌入锚定到原始语义结构上,防止语义失真。
对比预训练损失和语义维护损失共同作用,实现受控的协同演化。