PRSR
一种免训练的推理时干预方法,通过利用平行句对构建成对残差,估计逐层低秩子空间并从LLM隐藏状态中抑制语言特异性成分,从而提升多语言文本嵌入的跨语言对齐质量
时间轴 (近 90 天)
PRSR(成对残差子空间移除)是一种免训练的推理时干预方法,无需微调模型参数,可将LLM的表示引导向更语言不变的语义空间。
PRSR利用多语言平行句子构建成对残差,从残差中估计逐层的低秩子空间,并在最后一层token的隐藏状态中抑制语言特异性成分。
PRSR的低秩子空间估计通过对平行句对残差向量组成的矩阵做SVD或PCA,取前k个奇异向量张成子空间,并将最后一层token隐藏状态投影到该子空间的正交补上。
PRSR的秩k是唯一超参数,通常远小于隐藏维度,因此计算开销很小,且不会显著破坏语义信息。
实验结果表明,PRSR在不同LLM上均能一致地提升现有免训练基线的性能,无论是单语还是跨语言设置。
PRSR不需要额外训练,计算开销小,易于集成到现有流程中,为多语言语义搜索、跨语言检索或双语文本挖掘提供了低成本提升效果的路径。
全部知识事实 (6)
PRSR(成对残差子空间移除)是一种免训练的推理时干预方法,无需微调模型参数,可将LLM的表示引导向更语言不变的语义空间。
50%待验证PRSR利用多语言平行句子构建成对残差,从残差中估计逐层的低秩子空间,并在最后一层token的隐藏状态中抑制语言特异性成分。
50%待验证PRSR的低秩子空间估计通过对平行句对残差向量组成的矩阵做SVD或PCA,取前k个奇异向量张成子空间,并将最后一层token隐藏状态投影到该子空间的正交补上。
50%待验证PRSR的秩k是唯一超参数,通常远小于隐藏维度,因此计算开销很小,且不会显著破坏语义信息。
50%待验证实验结果表明,PRSR在不同LLM上均能一致地提升现有免训练基线的性能,无论是单语还是跨语言设置。
50%待验证PRSR不需要额外训练,计算开销小,易于集成到现有流程中,为多语言语义搜索、跨语言检索或双语文本挖掘提供了低成本提升效果的路径。
50%