对抗训练
对抗训练是一种机器学习训练技术，通过引入对抗样本或对抗扰动来提升模型鲁棒性，能够系统性地重塑模型内部表征结构，常用于模型鲁棒性研究和机制可解释性实验设计
核心事实
时间轴 (近 90 天)
近期一篇论文专门研究了大步长下对抗训练（AT）的梯度下降（GD）动态，揭示了与标准训练（ST）的三个关键差异。
对于关注泛化与鲁棒性关系的实践者，需要针对对抗训练单独设计锐度相关的正则化或早停策略。
在对抗训练中，损失锐度可以呈现两阶段动态，与标准训练中观察到的边缘稳定性行为不同。
在对抗训练中不存在统一的收敛速率。
在对抗线性逻辑回归中，即使步长任意大，对抗训练和标准训练的隐式偏置差距依然持续存在。
对抗训练（AT）通过在训练中生成对抗样本并纳入训练来提升模型鲁棒性，但内存开销巨大，且存在干净精度与鲁棒精度的权衡。
基于LoRA的参数高效对抗微调方法相较于全参数对抗训练在鲁棒性上仍有明显差距。
对抗训练存在跨攻击类型泛化能力差、训练成本高的局限。
非线性概念擦除方法（如基于对抗训练或互信息估计的方案）实验上擦除更彻底，但缺乏形式化保证，且常牺牲下游任务精度。
缩小仿真与真实数据之间域差距的常用策略包括域适应、对抗训练以及用少量真实数据做微调，但这些方法需要真实标注数据，在AD场景下恰恰是稀缺资源。
还有 7 条时间轴事件
全部知识事实 (17)
训练模型的核心过程是通过梯度下降法沿着损失函数的梯度方向迭代更新参数
75%待验证对于关注泛化与鲁棒性关系的实践者，需要针对对抗训练单独设计锐度相关的正则化或早停策略。
50%待验证近期一篇论文专门研究了大步长下对抗训练（AT）的梯度下降（GD）动态，揭示了与标准训练（ST）的三个关键差异。
50%待验证在对抗线性逻辑回归中，即使步长任意大，对抗训练和标准训练的隐式偏置差距依然持续存在。
50%待验证在对抗训练中不存在统一的收敛速率。
50%待验证在对抗训练中，损失锐度可以呈现两阶段动态，与标准训练中观察到的边缘稳定性行为不同。
50%待验证基于LoRA的参数高效对抗微调方法相较于全参数对抗训练在鲁棒性上仍有明显差距。
50%待验证对抗训练（AT）通过在训练中生成对抗样本并纳入训练来提升模型鲁棒性，但内存开销巨大，且存在干净精度与鲁棒精度的权衡。
50%待验证对抗训练存在跨攻击类型泛化能力差、训练成本高的局限。
50%待验证非线性概念擦除方法（如基于对抗训练或互信息估计的方案）实验上擦除更彻底，但缺乏形式化保证，且常牺牲下游任务精度。
50%待验证缩小仿真与真实数据之间域差距的常用策略包括域适应、对抗训练以及用少量真实数据做微调，但这些方法需要真实标注数据，在AD场景下恰恰是稀缺资源。
50%待验证推理时外挂调度与训练内化能力在泛化表现与可控性上并不相同。
50%待验证对抗训练只能防御训练分布内的攻击类型，对未知触发词仍可能失效。
50%待验证对抗样本利用模型决策边界在高维空间中的脆弱性，网络的鲁棒性机制（如归一化、Dropout）对随机噪声有效但对对抗性扰动几乎无效，因为扰动方向正是梯度上升方向。
50%待验证GCD 不需要重新训练模型，部署成本远低于对抗训练类方案。
50%待验证在表征层面，对抗训练的鲁棒模型更易被SAE分解，且在任务归因中调用的SAE特征更少
50%待验证在高忠实度区间（90%、95%），鲁棒模型需要的电路边数显著更少
50%