免费对抗训练！

的一部分神经信息处理系统进展32（NeurIPS 2019）

作者

Ali Shafahi、Mahyar Najibi、Mohammad Amin Ghiasi、Zheng Xu、John Dickerson、Christoph Studer、Larry S.Davis、Gavin Taylor、Tom Goldstein

摘要

对抗性训练是针对对抗性攻击进行训练的少数几种防御手段之一，它可以抵抗强大的攻击。不幸的是，生成强大的对抗性示例的高昂成本使得标准的对抗性训练在ImageNet等大规模问题上不切实际。我们提出了一种算法，通过循环更新模型参数时计算的梯度信息来消除生成对抗性示例的开销。我们的“免费”对抗训练算法在CIFAR-10和CIFAR-100数据集上实现了与PGD对抗训练相当的健壮性，与自然训练相比，额外成本可以忽略不计，并且比其他强大的对抗训练方法快7到30倍。使用具有4个P100 GPU和2天运行时间的单个工作站，我们可以为大规模ImageNet分类任务训练一个健壮的模型，该模型可以保持40%的准确率来抵御PGD攻击。