[控场AI]
概念Paired-Residual Subspace Removal / 成对残差子空间移除

PRSR

一种免训练的推理时干预方法,通过利用平行句对构建成对残差,估计逐层低秩子空间并从LLM隐藏状态中抑制语言特异性成分,从而提升多语言文本嵌入的跨语言对齐质量

时间轴 (近 90 天)

10月19日

PRSR(成对残差子空间移除)是一种免训练的推理时干预方法,无需微调模型参数,可将LLM的表示引导向更语言不变的语义空间。

待验证50%
10月19日

PRSR利用多语言平行句子构建成对残差,从残差中估计逐层的低秩子空间,并在最后一层token的隐藏状态中抑制语言特异性成分。

待验证50%
10月19日

PRSR的低秩子空间估计通过对平行句对残差向量组成的矩阵做SVD或PCA,取前k个奇异向量张成子空间,并将最后一层token隐藏状态投影到该子空间的正交补上。

待验证50%
10月19日

PRSR的秩k是唯一超参数,通常远小于隐藏维度,因此计算开销很小,且不会显著破坏语义信息。

待验证50%
10月19日

实验结果表明,PRSR在不同LLM上均能一致地提升现有免训练基线的性能,无论是单语还是跨语言设置。

待验证50%
10月19日

PRSR不需要额外训练,计算开销小,易于集成到现有流程中,为多语言语义搜索、跨语言检索或双语文本挖掘提供了低成本提升效果的路径。

待验证50%

全部知识事实 (6)

来源文章