#对抗训练

共 3 篇相关文章

论文研究大步长下对抗训练（AT）的梯度下降动态，发现AT与标准训练存在三大差异：隐式偏置差距在大步长下持续存在、优化误差无统一收敛速率、锐度呈现两阶段动态而非边缘稳定性。

研究者提出稀疏对抗微调SAFT，通过梯度分析识别鲁棒性关键参数，仅更新约5%参数即可接近或超越全参数对抗训练的鲁棒性，同时优于LoRA方法。

一篇 arXiv 新论文通过对抗训练受控实验发现：模型表征越简洁（更易被稀疏自编码器分解）并不总意味着因果电路越小，两者的关系依赖忠实度阈值，仅在高忠实度区间才同步。