概念稀疏对抗微调 / Sparse Adversarial Fine-Tuning

SAFT

一种参数高效对抗微调方法，通过对抗梯度显著性识别鲁棒性关键参数（RCPs），仅更新这些稀疏参数子集进行对抗训练，从而在减少可训练参数的同时保持或提升对抗鲁棒性。

时间轴 (近 90 天)

10月30日

SAFT（稀疏对抗微调）通过对抗梯度显著性识别RCPs，仅更新这些参数并冻结其余参数。

待验证50%

10月30日

SAFT仅更新约5%的参数，就能在鲁棒性上接近甚至超越全参数对抗训练。

待验证50%

10月30日

在多种网络架构和数据集上，SAFT在干净精度和鲁棒精度上同时领先基于LoRA的方法，且可训练参数更少。

待验证50%

10月30日

SAFT在内存受限场景下具有显著优势，有望推动大模型对抗防御的实用化，但仍需在更多复杂攻击和实际部署中验证。

待验证50%

SAFT（稀疏对抗微调）通过对抗梯度显著性识别RCPs，仅更新这些参数并冻结其余参数。

SAFT仅更新约5%的参数，就能在鲁棒性上接近甚至超越全参数对抗训练。

在多种网络架构和数据集上，SAFT在干净精度和鲁棒精度上同时领先基于LoRA的方法，且可训练参数更少。

SAFT在内存受限场景下具有显著优势，有望推动大模型对抗防御的实用化，但仍需在更多复杂攻击和实际部署中验证。