基于SVD的深度学习模型对抗鲁棒性研究

doi:10.11896/jsjkx.220800090

摘要

摘要：对抗性攻击的出现对在真实场景中大规模部署深层神经网络（DNN）构成了巨大威胁，尤其是在安全相关领域。现有的防御方法大多基于启发式假设，缺乏对模型鲁棒性的分析。如何提高DNN的鲁棒性，提高鲁棒性的可解释性和可信度，已经成为人工智能安全领域的一个重要组成部分。本文提出从奇异值的角度分析模型的鲁棒性。在对抗环境中，模型鲁棒性的提高伴随着奇异值的平滑分布。进一步分析表明，奇异值的平滑分布意味着该模型具有更多的分类置信源，从而具有更高的对抗鲁棒性。在此基础上，提出了一种基于奇异值抑制的对抗训练算法。实验表明，该算法提高了模型的鲁棒性，在面对强大的白盒攻击PGD（Project Gradient Descent）方法时，在CIFAR-10和SVHN上分别能达到55.3%和54.51%的准确率，超过了目前最具代表性的对抗训练方法。

关键词： 深度学习，对抗性防守，对抗性训练，对手的稳健性，奇异值分解

CLC编号：

TP391型

赵子田、詹文翰、段汉聪、吴越。基于SVD的深度学习模型对抗稳健性研究[J]。计算机科学，2023，50（10）：362-368。

工具书类

[1] GOODFELLOW I J，SHLENS J，SZEGEDY C.解释和利用对立示例[C]//学习表征国际会议论文集。OpenReview.net，2015:1-11。
[2] 陈明霞，张建业，季思林，等.图像中对抗性示例的研究进展综述[J]。计算机科学，2022,49（2）：92-106。
[3] 王C，魏晓乐，田强，等.基于特征梯度的深度神经网络自适应攻击[J]。计算机科学，2021,48（7）：25-32。
[4] CHERNIKOVA A，OPREA A.FENCE:约束环境下神经网络的可行规避攻击[J]。ACM隐私与安全交易，2022,25（4）：1-34。
[5] 陈建业，张德杰，黄国华，等。图神经网络的对抗性攻防综述[J]。中国网络与信息安全杂志，2021（3）：1-28。
[6] 刘晓林，罗永华，邵立，等.对抗性事例的产生、攻击和防御综述[J]。计算机应用研究，2020,37（11）：3201-32053212。
[7] 王泽，宋明，郑S，等.深层神经网络的隐形对抗攻击：一种自适应惩罚方法[J]。IEEE可靠和安全计算汇刊，2021,18（3）：1474-1488。
[8] 王琦，郑斌，李琦，等.面向自动语音识别系统的查询高效高级语言攻击[J]。IEEE信息取证与安全事务，2021,16:896-908。
[9] 魏X，郭毅，李B.Mani-plating Image Attributes的黑匣子对抗攻击[J]。信息科学，2021550:285-296。
[10] 刘毅，MA S，AAFER Y，等。神经网络木马攻击[C]//网络与分布式系统安全研讨会论文集。Reston：互联网协会，2018:1-15。
[11] 钟毅，邓伟.对抗深度人脸识别的可转移对抗反攻击[J]。IEEE信息取证与安全事务，2021,16:1452-1466。
[12] 荆海英，周灿，何霞.人脸检测对抗攻击风险的安全评估方法[J]。计算机科学，2021,7（48）：17-24。
[13] 郝志毅，陈磊，黄建中.文本分类中的类鉴别通用对抗攻击[J]。计算机科学，2022,49（8）：323-329。
[14] 王德恩，陈武，杨洋，等。基于高斯增强和迭代攻击的对抗性训练防御方法[J]。计算机科学，2021,48（6A）：509-513537。
[15] 颜华，张杰，NIU G，等.CIFS：通过基于通道重要性的特征选择提高CNN的对抗鲁棒性[C]//机器学习国际会议论文集。纽约：PMLR，2021:1-11。
[16] MADRY A，MAKELOV A，SCHMIDT L，et al.面向抵抗对抗性攻击的深度学习模型[C]//学习表征国际会议论文集。OpenReview.net，2018:1-28。
[17] 王德，李聪，温淑，等.基于协同多任务训练的深度神经网络对抗攻击防御[J]。IEEE可靠和安全计算汇刊，2022,19（2）：953-965。
[18] 克雷奇·F，梅利斯·M，苏吉欧·A，等.快速对抗性样例拒绝[J]。神经计算，2022470:257-268。
[19] 徐伟，EVANS D，QI Y.特征压缩：检测深层神经网络中的对手示例[C]//网络与分布式系统安全研讨会论文集。莱斯顿：《互联网协会》，2018:1-15。
[20] 王毅，宋旭，徐涛，等.从RGB到深度：人脸防抖的域传输网络[J]。IEEE信息取证和安全事务，2021,16:4280-4290。
[21]金凯，张涛，沈C，等.我们可以使用对抗性检测方法来缓解后门攻击吗？[J] ●●●●。IEEE可靠和安全计算汇刊，2022，早期访问：1-15。
[22]魏志聪，冯和，张晓强等.基于注意机制的物理对抗样本检测方法研究[J]。计算机应用研究，2022,39（1）：254-258。
[23]李涛，刘A，刘X，等.通过关键攻击路径理解敌方Robus-tness[J]。信息科学，2021547:568-578。
[24]王H，王Z，杜M，等.Score-CAM:卷积神经网络的评分视觉解释[C]//IEEE计算机视觉与模式识别研讨会论文集。纽约：IEEE出版社，2020:111-119。
[25]张C，刘A，刘X，等.具有神经元敏感性的深度神经网络对抗鲁棒性的解释与改进[J]。IEEE图像处理汇刊，2021,30:1291-1304。
[26]GAVRIKOV P，KEUPER J.通过卷积滤波器透镜的对抗鲁棒性[C]//IEEE计算机视觉和模式识别研讨会会议记录。纽约：IEEE出版社，2022:1-9。
[27]朱C，程毅，甘孜，等.FreeLB:自然语言理解的强化对抗训练[C]//学习表征国际会议论文集。OpenReview.net，2020:1-12。
[28]张德，张涛，陆毅，等.你只传播一次：利用最大值原理加速对抗训练[C]//神经信息处理系统的进展。纽约：Curran Associates，Inc.，2019:1-12。
[29]KANNAN H，KURAKIN A，GOODFELLOW I.对手逻辑配对[J].arXiv:1803.063732018。
[30]MA S，LIU Y，TAO G，et al.NIC：用神经网络不变量检验检测对抗样本[C]//网络与分布式系统安全研讨会论文集。Reston：互联网协会，2019:1-15。
[31]LIAO F，LIANG M，DONG Y，et al.使用高级表示引导去噪器防御对抗性攻击[C]//IEEE计算机视觉与模式识别会议论文集。纽约：IEEE出版社，2018:1778-1787。
[32]SHAHAM U，YAMADA Y，NEGAHBAN S.理解对抗训练：通过稳健优化提高受监督模型的局部稳定性[J]。神经计算，2018307:195-204。
[33]丁国伟，王磊，金X.{AdverTorch}v0.1:基于PyTorch的Adversarial鲁棒性工具箱[J].arXiv:1902.076232022。
[34]SZEGEDY C，ZAREMBA W，SUTSKEVER I等。神经网络的有趣特性[C]//学习表征国际会议。OpenReview.net，2014:1-10。
[35]CARLINI N，WAGNER D.评估神经网络的鲁棒性[C]//IEEE安全与隐私研讨会论文集。纽约：IEEE出版社，2016:39-57。

相关文章15

[1]	赵明敏、杨秋辉、洪梅、蔡创。基于深度学习和信息反馈的智能合同模糊化[J] ●●●●。计算机科学，2023，50（9）：117-122。
[2]	李海明、朱志恒、刘磊、郭晨凯。移动应用评分推荐的多任务图嵌入深度预测模型[J] ●●●●。计算机科学，2023，50（9）：160-167。
[3]	黄汉强、邢云兵、沈建飞、范飞毅。基于LpTransformer网络的手语动画拼接模型[J] ●●●●。计算机科学，2023，50（9）：184-191。
[4]	朱烨、郝英光、王红玉。基于深度学习的红外视频显著目标检测[J] ●●●●。计算机科学，2023，50（9）：227-234。
[5]	王瑜，王祖超，潘瑞。基于字符特征的DGA域名检测综述[J] ●●●●。计算机科学，2023，50（8）：251-259。
[6]	张毅、杨莹、任刚、王刚。基于注意机制的多模态在线评论有用性预测研究[J] ●●●●。计算机科学，2023，50（8）：37-44。
[7]	宋信阳、颜志远、孙木毅、戴林林、李琦、孙振安。面子生成综述[J] ●●●●。计算机科学，2023，50（8）：68-78。
[8]	王旭，吴艳霞，张雪，洪瑞泽，李广生。计算机视觉中旋转目标检测研究综述[J] ●●●●。计算机科学，2023，50（8）：79-92。
[9]	周子怡、熊海玲。基于深度学习的图像字幕优化策略[J] ●●●●。计算机科学，2023，50（8）：99-110。
[10]	张晓，董洪斌。集成粗成本量和双边网格的轻量级多视立体[J] ●●●●。计算机科学，2023，50（8）：125-132。
[11]	李坤、郭伟、张帆、杜嘉玉、杨美月。基于遗传算法的对抗恶意软件生成方法[J] ●●●●。计算机科学，2023，50（7）：325-331。
[12]	王明霞、熊云。基于对比学习的疾病诊断预测算法[J] ●●●●。计算机科学，2023，50（7）：46-52。
[13]	沈哲辉、王凯来、孔祥杰。探索车站时空流动模式：一个短期和长期交通预测框架[J] ●●●●。计算机科学，2023，50（7）：98-106。
[14]	霍伟乐、景涛、任爽。面向自动驾驶的三维目标检测综述[J] ●●●●。计算机科学，2023，50（7）：107-118。
[15]	周波、姜培峰、段畅、罗月彤。面向单背景目标检测的改进RetinaNet模型及其应用研究[J] ●●●●。计算机科学，2023，50（7）：137-142。

韵律学

已查看

全文

摘要

引用

共享

讨论

基于SVD的深度学习模型的对抗鲁棒性研究

PDF（PC）

摘要

引用这篇文章

分享这篇文章

工具书类

相关文章15

韵律学

评论

推荐0