图像分类模型的对抗样本攻防研究综述

doi:10.3778/j.issn.1002-8331.2205-0520

摘要/摘要

摘要：深度学习模型在图像分类领域的能力已经超越了人类，但不幸的是，研究发现深度学习模型在对抗样本面前非常脆弱，这给它在安全敏感的系统中的应用带来了巨大挑战。图像分类领域对抗样本的研究工作被梳理和总结，以期为进一步地研究该领域建立基本的知识体系，介绍了对抗样本的形式化定义和相关术语，介绍了对抗样本的攻击和防御方法，特别是新兴的可验证鲁棒性的防御，并且讨论了对抗样本存在可能的原因。为了强调在现实世界中对抗攻击的可能性，回顾了相关的工作。在梳理和总结文献的基础上，分析了对抗样本的总体发展趋势和存在的挑战以及未来的研究展望。

关键词: 图像分类, 对抗样本, 深度学习, 对抗攻击, 对抗防御

摘要：深度学习模型在图像分类领域已经超越了人类的能力，但不幸的是，研究发现，深度学习模型非常容易受到对抗性示例攻击，这对其在安全敏感系统中的应用提出了巨大挑战。对图像分类领域中对抗性示例的研究工作进行了梳理和总结，以建立一个基础知识体系来进一步研究该领域。首先，介绍了对抗性示例和相关术语的形式化定义。然后，介绍了对抗性示例的攻击和防御方法，特别是认证健壮性的新兴防御，并讨论了对抗性实例存在的可能原因。为了突出现实世界中对手攻击的可能性，对相关工作进行了回顾。最后，在总结和梳理文献的基础上，分析了对抗性示例的一般趋势和挑战以及未来的研究展望。

关键词： 图像分类，对抗性示例，深度学习，对抗性攻击，对抗性防御

闫嘉乐, 徐洋, 张思聪, 李克资. 图像分类模型的对抗样本攻防研究综述[J] ●●●●。计算机工程与应用, 2022, 58(23): 24-41.

颜家乐、徐阳、张思聪、李克孜。图像分类模型中对抗性示例攻防研究综述[J]。计算机工程与应用，2022，58（23）：24-41。

参考文献

[1] 何凯，张欣，任S，等。图像识别中的深度剩余学习[C]//IEEE计算机视觉与模式识别会议论文集，2016:770-778。
[2] VASWANI A、SHAZEER N、PARMAR N等。注意力就是你所需要的一切[C]//神经信息处理系统进展，2017。
[3] GRAVES A，JAITLY N.用递归神经网络实现端到端语音识别[C]//机器学习国际会议论文集，2014:1764-1772。
[4] 陈C，SEFF A，KORNHAUSER A，等.深度驾驶：自主驾驶中直接感知的学习启示[C]//IEEE计算机视觉国际会议论文集，2015:2722-2730。
[5] 廖Y，VAKANSKI A，XIAN M.一种评估身体康复运动的深度学习框架[J]。IEEE神经系统与康复工程学报，2020,28（2）：468-477。
[6] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Image-Net分类与深度卷积神经网络[C]//神经信息处理系统进展，2012。
[7] SZEGEDY C，ZAREMBA W，SUTSKEVER I，et al.神经网络的有趣特性[C]//学习表征国际会议论文集，2014。
[8] CARLINI N，WAGNER D.音频对抗示例：针对演讲到文本的攻击[C]//2018 IEEE安全与隐私研讨会（SPW），2018:1-7。
[9] EBRAHIMI J，RAO A，LOWD D，et al.热翻转：文本分类的白盒对抗性示例[C]//计算语言学协会第56届年会论文集（第2卷：短文），2018。
[10] GROSSE K，PAPERNOT N，MANOHARAN P，et al.恶意软件检测的对抗性示例[C]//欧洲计算机安全研究研讨会。查姆：施普林格，2017:62-79。
[11] 潘文雯，王新宇，宋明黎，等.对抗样本生成技术综述[J] 《报告》，2020,31（1）：67-81。
潘文伟，王晓英，宋美林，等.对抗性示例生成研究[J]。软件杂志，2020,31（1）：67-81。
[12] 陈梦轩，张振永，纪守领，等.图像对抗样本研究综述[J] .2022,49（2）：92-106。
陈明霞，张志毅，季世林，等.图像对抗性示例研究进展综述[J]。计算机科学，2022,49（2）：92-106。
[13] 白祉旭，王衡军，郭可翔.基于深度神经网络的对抗样本技术综述[J] ●●●●。计算机工程与应用，2021，57（23）：61-70.
白志X，王海杰，郭坤.基于深度神经网络的对抗性示例技术综述[J]。计算机工程与应用，2021,57（23）：61-70。
[14] GOODFELLOW I J，SHLENS J，SZEGEDY C.解释和利用对抗性示例[C]//《学习代表国际会议论文集》，2015年。
[15] KURAKIN A，GOODFELLOW I，BENGIO S.《物理世界中的对抗性例子》[C]//《学习表征国际会议论文集研讨会轨迹》，2017年。
[16] 董毅，廖凤，彭涛，等.利用动量推进对抗性攻击[C]//IEEE计算机视觉与模式识别会议论文集，2018:9185-9193。
[17] MADRY A，MAKELOV A，SCHMIDT L，et al.迈向对抗性攻击的深度学习模型[C]//学习表征国际会议论文集，2018。
[18] WANG X，HE K.通过方差调整增强对抗性攻击的可转移性[C]//IEEE/CFF计算机视觉和模式识别会议论文集，2021:1924-1933。
[19] PAPERNOT N，MCDANIEL P，JHA S，et al.对抗环境下深度学习的局限性[C]//2016 IEEE欧洲安全与隐私研讨会（EuroS&P），2016:372-387。
[20] CARLINI N，WAGNER D.评估神经网络的稳健性[C]//2017 IEEE安全与隐私研讨会（SP），2017:39-57。
[21]朱M，陈T，王忠.基于同伦算法的稀疏和不可察觉的对抗性攻击[C]//机器学习国际会议论文集，2021:12868-12877。
[22]MOOSAVI-DEZFOOLI S M，FAWZI A，FROSSARD P.Deepfool:愚弄深层神经网络的简单准确方法[C]//IEEE计算机视觉和模式识别会议论文集，2016:2574-2582。
[23]MOOSAVI-DEZFOOLI S M，FAWZI A，FAWZ O，et al.通用对抗扰动[C]//IEEE计算机视觉与模式识别会议论文集，2017:1765-1773。
[24]PAPERNOT N，MCDANIEL P，GOODFELLOW I，et al.针对机器学习的实用黑盒攻击[C]//2017 ACM亚洲计算机与通信安全会议论文集，2017:506-519。
[25]刘毅，陈X，刘C，等.探究可转移的对抗性示例和黑盒攻击[C]//《学习代表国际会议论文集》，2017年。
[26]史毅，王斯，韩毅.卷曲与乳清：增强黑盒对抗性攻击[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2019:6519-6527。
[27]黄Z，张T.基于可转移模型嵌入的黑盒对抗攻击[C]//《学习表征国际会议论文集》，2020年。
[28]王Z，郭H，张Z，等.特征重要性软件可转移对抗性攻击[C]//IEEE/CVF计算机视觉国际会议论文集，2021:7639-7648。
[29]CHEN P Y，ZHANG H，SHARMA Y，et al.ZOO:基于零阶优化的无需训练替代模型的深度神经网络黑盒攻击[C]//第十届ACM人工智能与安全研讨会论文集，2017:15-26。
[30]ILYAS A，ENGSTROM L，ATHALYE A，et al.具有有限查询和信息的黑盒对抗性攻击[C]//机器学习国际会议论文集，2018:2137-2146。
[31]TU C C，TING P，CHEN P Y，et al.Autozoom:基于自动编码器的攻击黑箱神经网络的零阶优化方法[C]//AAAI人工智能会议论文集，2019，33（1）：742-749。
[32]SU J，VARGAS D V，SAKURAI K。愚弄深层神经网络的单像素攻击[J]。IEEE进化计算汇刊，2019,23（5）：828-841。
[33]杜杰，张华，周建堂，等.深度神经网络的查询有效元攻击[C]//学习表征国际会议论文集，2020。
[34]MA C，CHEN L，YONG J H.模拟未知目标模型进行高效查询的黑盒攻击[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2021:11835-11844。
[35]BRENDEL W，RAUBER J，BETHGE M.基于决策的对抗性攻击：针对黑盒机器学习模型的可靠攻击[C]//《学习代表性国际会议论文集》，2018年。
[36]CHENG M，LE T，CHEN P Y，et al.查询高效的硬标签黑盒攻击：一种基于优化的方法[C]//《学习表征国际会议论文集》，2019年。
[37]CHEN J，JORDAN M I，WAINWRIGHT M J.Hopskipjumpattack:一种基于查询效率的决策型攻击[C]//IEEE安全与隐私（SP）研讨会论文集，2020:1277-1294。
[38]李辉，徐X，张X，等.QEBA:基于边界的高效查询黑盒攻击[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2020:1221-1230。
[39]李辉，李磊，徐旭，等.基于非线性投影的梯度估计在高效查询黑盒攻击中的应用[C]//国际人工智能与统计会议论文集，2021:3142-3150。
[40]EYKHOLT K，EVTIMOV I，FERNANDES E，et al.深度学习视觉分类的鲁棒物理世界攻击[C]//IEEE计算机视觉和模式识别会议论文集，2018:1625-1634。
[41]孔Z，郭J，李A，等.PhysGAN:为自动驾驶生成物理-世界弹性对抗示例[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2020:14254-14263。
[42]曹勇，肖C，CYR B，等.自主驾驶中基于激光雷达感知的对抗传感器攻击[C]//2019年ACM SIGSAC计算机与通信安全会议论文集，2019:2267-2281。
[43]曹毅，肖聪，杨德，等.对抗目标对抗激光雷达自主驾驶系统[J].arXiv:1907.054182019。
[44]THYS S，VAN RANST W，GOEDEMéT。愚弄自动监控摄像机：攻击人员检测的对抗补丁[C]//2019年IEEE/CVF计算机视觉和模式识别研讨会会议记录。
[45]BROWN T B，MANéD，ROY A等。对抗性补丁[C]//神经信息处理系统的进展，2017。
[46]DUAN R，MA X，WANG Y，et al.对抗伪装：以自然方式隐藏物理世界攻击[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2020:1000-1008。
[47]GOODFELLOW I，POUGET-ABADIE J，MIRZA M，et al.生成对抗网络[C]//神经信息处理系统的进展，2014。
[48]REDMON J，FARHADI A.YOLO9000:更好，更快，更强[C]//IEEE计算机视觉和模式识别会议论文集，2017:7263-7271。
[49]HO C H，LEUNG B，SANDSTROM E，et al.灾难性儿童游戏：易于执行，难以防御的对抗性攻击[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2019:9229-9237。
[50]景毅，杨毅，冯姿，等.神经风格转移：综述[J]。IEEE可视化和计算机图形汇刊，2019,26（11）：3365-3385。
[51]GU S，RIGAZIO L.《面向对抗性示例鲁棒的深层神经网络架构》[C]//《学习表征国际会议论文集》，2015年。
[52]宋毅，KIM T，NOWOZIN S，等.Pixeldefend:利用生成模型来理解和防御对抗性示例[C]//《学习代表国际会议论文集》，2018年。
[53]FAWZI A，FAWZI O，FROSSARD P.对抗性鲁棒性的基本限制[C]//深度学习机器学习国际会议论文集，2015年。
[54]TABACOF P，VALLE E.探索对抗性图像的空间[C]//《国际神经网络联合会议论文集》，2016:426-433。
[55]BUCKMAN J，ROY A，RAFFEL C，et al.温度计编码：对抗对抗性示例的一种热门方法[C]//《学习表征国际会议论文集》，2018年。
[56]TANAY T，GRIFFIN L.对对抗性例子现象的边界倾斜[J].arXiv:1608.076902016。
[57]GILMER J，METZ L，FAGHRI F，et al.对抗领域[C]//学习表征国际会议论文集，2018。
[58]MAHLOUJIFAR S，DIOCHNOS D I，MAHMOODY M。健壮学习中集中的诅咒：集中的回避和中毒攻击[C]//《AAAI人工智能会议论文集》，2019:4536-4543。
[59]SHAFAHI A、HUANG W R、STUDER C等。对抗性例子是否不可避免？[C] //2019年学习代表国际会议记录。
[60]FAWZI A，FAWZI H，FAWZI O。任何分类器的对抗漏洞[C]//神经信息处理系统的进展，2018。
[61]GHOSH P，LOSALKA A，BLACK M J.使用高斯混合变分自动编码器抵抗对手攻击[C]//AAAI人工智能会议论文集，2019:541-548。
[62]SCHMIDT L，SANTURKAR S，TSIPRAS D，et al.对抗稳健泛化需要更多数据[C]//神经信息处理系统进展，2018。
[63]ILYAS A、SANTURKAR S、TSIPRAS D等。对立示例不是错误，它们是特征[C]//神经信息处理系统的进展，2019年。
[64]丁国伟，吕锦英，金X，等.对抗性稳健性对输入数据分布的敏感性[C]//学习表征国际会议论文集，2019。
[65]SONG C，HE K，WANG L，et al.使用领域适应改进对抗训练的泛化[C]//学习表征国际会议论文集，2019。
[66]WANG Y，ZOU D，YI J等。提高对抗性鲁棒性需要重新审视错误分类的例子[C]//《国际学习表征大会论文集》，2020。
[67]VIVEK B S，BABU R V.带辍学时间表的单步对抗训练[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2020:947-956。
[68]宋C，何克，林J，等.增强对抗训练通用性的稳健局部特征[C]//学习表征国际会议论文集，2020。
[69]郑H，张Z，顾J，等.具有可转换对抗示例的高效对抗训练[C]//IEEE/CVF计算机视觉与模式识别会议论文集，2020:1181-1190。
[70]董毅，邓Z，PANG T，等.鲁棒深度学习的对抗性分布训练[C]//神经信息处理系统进展，2020,33:8270-8283。
[71]JIA X，ZHANG Y，WU B，et al.LAS-AT：采用可学习攻击策略的对抗训练[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2022:13398-13408。
[72]谢C，YUILLE A.规模对抗训练的有趣特性[C]//《2020年学习代表国际会议论文集》。
[73]黄娥，RICE L，KOLTER J Z.快胜于自由：重温对抗性训练[C]//《学习代表性国际会议论文集》，2020年。
[74]安德里乌先科M，FLAMMARION N.理解和改进快速对抗训练[C]//神经信息处理系统进展，2020:16048-16059。
[75]WU T，TONG L，VOROBEYCHIK Y.防御对图像分类的物理可实现攻击[C]//《学习表征国际会议论文集》，2020年。
[76]PANG T，XU K，DONG Y，et al.对softmax交叉熵损失对抗鲁棒性的再思考[C]//学习表征国际会议论文集，2020。
[77]肖C，钟平，郑C.通过k-winners-take-all加强对抗性防御[C]//《学习代表国际会议论文集》，2020年。
[78]LIU Z，LIU Q，LIU T，et al.特征提取：针对对抗性示例的面向DNN的JPEG压缩[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2019:860-868。
[79]DAS N，SHANBHOGUE M，CHEN S T，等.将坏人拒之门外：利用JPEG压缩保护和接种深度学习[J].arXiv:1705.029002017。
[80]郭C，RANA M，CISSE M，et al.使用输入转换对抗对手图像[C]//学习表征国际会议论文集，2018。
[81]RAFF E，SYLVESTER J，FORSYTH S等。用于对抗性鲁棒防御的随机变换的拦河坝[C]//IEEE/CFF计算机视觉和模式识别会议论文集，2019:6528-6537。
[82]谢C，王J，张Z，等.语义分割和对象检测的对抗性示例[C]//IEEE国际计算机视觉会议论文集，2017:1369-1378。
[83]王强，郭伟，张凯，等.学习抗对手深层神经网络[J].arXiv:1612.014012016。
[84]ZANTEDESCHI V，NICOLAE M I，RAWAT A.对抗性攻击的有效防御[C]//第十届ACM人工智能与安全研讨会论文集，2017:39-49。
[85]SAMANGOUEI P，KABKAB M，CHELLAPPA R.Defense-GAN:使用生成模型保护分类器免受对手攻击[C]//《学习表征国际会议论文集》，2018年。
[86]GUPTA P，RAHTU E.Ciidefence：通过融合特定类别图像修复和图像去噪来击败对手攻击[C]//IEEE/CVF计算机视觉国际会议论文集，2019:6708-6717。
[87]AKHTAR N，LIU J，MIAN A.针对普遍对抗扰动的防御[C]//IEEE计算机视觉和模式识别会议论文集，2018:3389-3398。
[88]徐伟，EVANS D，QI Y.特征压缩：检测深层神经网络中的敌对示例[C]//网络与分布式系统安全研讨会论文集，2018。
[89]MENG D，CHEN H.Magnet:对抗性示例的双重防御[C]//ACM SIGSAC计算机和通信安全会议论文集，2017:135-147。
[90]梁波，李华，苏梅，等.基于自适应降噪的深层网络对抗性检测[J].arXiv:1705.083782017。
[91]FEINMAN R，CURTIN R R，SHINTRE S等。从伪影中检测对抗性样本[J]。arXiv:1703.004102017。
[92]KATZ G，BARRETT C，DILL D L，等.Reluplex:一种用于验证深层神经网络的高效SMT求解器[C]//计算机辅助验证国际会议论文集。查姆：施普林格，2017:97-117。
[93]TJENG V，XIAO K，TEDRAKE R.用混合整数规划评估神经网络的鲁棒性[C]//《国际学习表征会议论文集》，2019年。
[94]HEIN M，ANDRIUSHCHENKO M.分类器对抗对手操作鲁棒性的形式保证[C]//神经信息处理系统进展，2017。
[95]RAGHUNATHAN A，STEINHARDT J，LIANG P.对抗性案例的认证抗辩[C]//2018年国际学习代表大会会议记录。
[96]WONG E，KOLTER Z.通过凸的外部对抗性多面体对抗性示例的可证明防御[C]//机器学习国际会议论文集，2018:5286-5295。
[97]MIRMAN M，GEHR T，VECHEV M.可证明鲁棒神经网络的可微抽象解释[C]//机器学习国际会议论文集，2018:3578-3586。
[98]肖开义，TJENG V，SHAFIULLAH N M，et al.通过诱导相对稳定性实现更快的对抗鲁棒性验证的训练[C]//《学习表征国际会议论文集》，2019年。
[99]CROCE F，HEIN M.针对p≥1的所有对抗lp-扰动的可证明稳健性[C]//《2020年学习表征国际会议论文集》。
[100]TRAMER F，BONEH D.对抗训练与多扰动鲁棒性[C]//神经信息处理系统进展，2019。
[101]JIA J，CAO X，WANG B，et al.通过随机平滑验证top-k预测对对抗性扰动的鲁棒性[C]//学习表征国际会议论文集，2020。
[102]CAO X，GONG N Z.通过基于区域的分类缓解对深层神经网络的规避攻击[C]//第33届计算机安全应用年会论文集，2017:278-287。
[103]ZHAI R，DAN C，HE D等。MACER:通过最大化认证半径进行无攻击和可扩展的鲁棒训练[C]//《国际学习表征大会论文集》，2020。
[104]FISCHER M，BAADER M，VECHEV M.通过随机平滑认证的图像变换防御[C]//神经信息处理系统进展，2020:8404-8417。
[105]张德，叶M，龚C，等.随机平滑的Black-box认证：基于函数优化的框架[C]//神经信息处理系统进展，2020:2316-2326。
[106]CHIANG P Y，NI R，ABDELKADER A，et al.对抗补丁的认证防御[C]//学习表征国际会议论文集，2020。
[107]AWASTHI P，JAIN H，RAWAT A S，等.基于鲁棒低秩表示的对抗鲁棒性[C]//神经信息处理系统进展，2020:11391-11403。
[108]TRAMER F，CARLINI N，BRENDEL W，等.对抗性示例防御的自适应攻击[C]//神经信息处理系统的进展，2020:1633-1645。
[109]PAUTOV M，TURSYNBEK N，MUNKHOEVA M，et al.CC-Cert：验证神经网络一般鲁棒性的概率方法[C]//《AAAI人工智能会议论文集》，2022:7975-7983。
[110]GUESMI A，KHASAWNEH K N，ABU-GHAZALEH N，等.实时约束下的对抗性机器学习攻击[J].arXiv:2201.016212022。
[111]DUNCAN K，KOMENDANTSKAYA E，STEWART R，et al.量化神经网络对抗攻击的相对鲁棒性[C]//国际神经网络联合会议论文集，2020:1-8。
[112]黄毅，于毅，张浩，等.稳定神经元的对抗鲁棒性可能来自模糊梯度[C]//《数学与科学机器学习学报》，2022:497-515。
[113]MAHMOOD K，MAHMOOD R，VAN DIJK M。关于视觉变换器对对抗性示例的鲁棒性[C]//IEEE/CVF计算机视觉国际会议论文集，2021:7838-7847。
[114]BHOJANAPALLI S，CHAKRABARTI A，GLASNER D，et al.了解变压器对图像分类的鲁棒性[C]//IEEE/CVF计算机视觉国际会议论文集，2021:10231-10241。
[115]SHAMIR A，MELAMED O，BENSHMUEL O.机器学习中对抗性示例的凹流形模型[J].arXiv:2106.101512021。
[116]孙杰，姜涛，李聪，等.通过全面可靠的评估寻找稳健的神经结构[J].arXiv:2203.031282022。
[117]曹庚，王泽，董欣，等.香草特征提取在对抗训练中提高准确性与稳健性权衡[J].arXiv:2206.021582022。
[118]SUN H，WU K，WANG T等。走向公平和稳健的分类[C]//IEEE第七届欧洲安全与隐私研讨会论文集（EuroS&P），2022:356-376。
[119]王H，张A，郑S，等.去除批量规范化促进对抗训练[C]//机器学习国际会议论文集，2022:23433-23445。
[120] 董胤蓬，苏航，朱军.面向对抗样本的深度神经网络可解释性分析[J] 《报告》，2022,48（1）：75-86。
董永平，苏赫，朱洁.深层神经网络的可解释性分析与对抗性实例[J]。自动化学报，2022,48（1）：75-86。
[121]HUANG H，MA X，ERFANI S M，et al.无法学习的例子：使个人数据无法利用[C]//学习表征国际会议论文集，2021。
[122]ARAMOON O，CHEN P Y，QU G.别忘了在渐变上签名！[J] .arXiv:2103.037012021。
[123]WANG S，WANG X，CHEN P Y，et al.特征示例：神经网络的高鲁棒性、低可转移性指纹[C]//第三十届国际人工智能联合会议论文集，2021:575-582。
[124]张杰，张磊，李刚，等.善的对抗性示例：对抗性示例引导的不平衡学习[J].arXiv:2201.123562022。
[125]HSU C Y，CHEN P Y，LU S，et al.对抗性示例可以有效地增强无监督机器学习的数据[C]//AAAI人工智能会议论文集，2022。
[126]SHAO R，SHI Z，YI J，等.使用对抗性示例的鲁棒文本字幕[J].arXiv:2101.024832021。
[127]FAN L，LIU S，CHEN P Y，et al.对比学习在什么时候从预训练到微调保持对抗性稳健性？[C] //神经信息处理系统进展，2021:21480-21492。
[128]王荣，徐坤，刘斯，等.模型认知元学习中快速对抗鲁棒性自适应[C]//学习表征国际会议论文集，2021。