埃坦·理查森;耶尔·韦斯 对抗性示例的贝叶斯优化视图。 （英语） Zbl 07626736号 J.马赫。学习。物件。 22，第221号论文，28页（2021）. 摘要：自从发现了对抗性的例子——用微小的输入扰动愚弄现代CNN分类器的能力以来，人们一直在讨论它们是特定于当前神经结构和训练方法的“bug”，还是高维几何不可避免的“特征”。在本文中，我们主张从贝叶斯最优分类的角度检查对抗性示例。我们构造了能够有效计算贝叶斯最优分类器的真实图像数据集，并推导了这些分类器对任何对抗性攻击（即使是在高维）具有可证明鲁棒性的分布的分析条件。我们的结果表明，即使这些“金标准”最优分类器是健壮的，在相同数据集上训练的CNN仍然能够学习到易受攻击的分类器，这表明对抗性示例通常是可以避免的“错误”。我们进一步表明，在相同数据上训练的RBF SVM能够始终如一地学习鲁棒分类器。在不同数据集的真实图像实验中观察到了相同的趋势。 MSC公司： 68T05型 人工智能中的学习和自适应系统 关键词：对抗性示例;贝叶斯最优;生成模型;美国有线电视新闻网;支持向量机 软件：Scikit公司;聪明人;Wasserstein甘;CIFAR公司 PDF格式BibTeX公司 XML格式引用 \textit{E.Richardson}和\textit{Y.Weiss}，J.Mach。学习。第22号决议，第221号论文，第28页（2021；Zbl 07626736） 全文： arXiv公司 链接 参考文献： [1] 尼古拉斯·卡里尼和大卫·A·瓦格纳。评估神经网络的鲁棒性。2017年IEEE安全与隐私研讨会，2017年SP，加利福尼亚州圣何塞， [2] Nicholas Carlini、Anish Athalye、Nicolas Papernot、Wieland Brendel、Jonas Rauber、Dimitris Tsipras、Ian J.Goodfellow、Aleksander Madry和Alexey Kurakin。评估对抗性稳健性。CoRR，abs/1902.067052019年。统一资源定位地址http://arxiv.org/abs/1902。6705 [3] 迪米特里奥斯·迪奥奇诺斯（Dimitrios Diochnos）、赛义德·马卢吉法尔（Saeed Mahloujifar）和穆罕默德·马穆迪（Mohammad Mahmoody）。对手风险和稳健性：统一分布的一般定义和含义。预付款·Zbl 1406.94074号 [4] 埃尔维斯·多马托布。对抗性稳健性的局限性：强无免费午餐理论。arXiv预印本arXiv:1810.040652018。 [5] Richard O Duda、Peter E Hart和David G Stork。模式分类。威利，纽约，1973年·Zbl 0277.68056号 [6] 阿尔侯赛因·法齐、哈姆扎·法齐和奥马尔·法齐。任何分类器的对手漏洞。在S.Bengio、H.Wallach、H.Larochelle、K.Grauman、N.Cesa-Bianchi和R.Garnett编辑的《神经信息处理系统进展》31，第1178-1187页，2018a·Zbl 1462.62383号 [7] 阿尔胡塞因·法齐、奥马尔·法齐和帕斯卡尔·弗罗萨德。分类器对对抗扰动的鲁棒性分析。机器学习，107（3）：481-5082018b。doi:10.1007/s10994-017-5663-3。统一资源定位地址https://doi.org/10.1007/s10994-017-5663-3。 ·Zbl 1462.62383号 [8] 尼古拉斯·福特（Nicolas Ford）、贾斯汀·吉尔默（Justin Gilmer）和埃金·D·库布克（Ekin D.Cubuk）。相反的例子是2019年噪声测试误差的自然结果。统一资源定位地址https://openreview.net/forum？id=S1xoy3CcYX。 [9] Zoubin Ghahramani，Geoffrey E Hinton等人。混合因子分析仪的EM算法。技术报告，技术报告CRG-TR-96-1，多伦多大学，1996年。 [10] 贾斯汀·吉尔默（Justin Gilmer）、卢克·梅茨（Luke Metz）、法塔什·法格里（Fartash Faghri）、塞缪尔·肖恩霍尔茨（Samuel S Schoenholz）、梅瑟拉·拉胡（Maithra Raghu）、马丁·瓦滕伯格（Martin Wattenb。对手球。国际会议 [11] 伊恩·古德费罗（Ian Goodfellow）、帕特里克·麦克丹尼尔（Patrick McDaniel）和尼古拉斯·帕普诺特（Nicolas Papernot）。使机器学习对敌对输入具有鲁棒性。Commun公司。ACM，61（7）：56-662018年6月。ISSN 0001-0782。doi:10.1145/3134599。统一资源定位地址http://doi.acm.org/10.1145/3134599。 [12] Ian J.Goodfellow、Jonathon Shlens和Christian Szegedy。解释和利用对抗性示例。在第三届国际学习代表大会上 [13] Ishaan Gulrajani、Faruk Ahmed、Martin Arjovsky、Vincent Dumoulin和Aaron C Courville。改进wasserstein GAN的培训。《神经信息处理系统进展》，第5769-5779页，2017年。 [14] 特雷弗·哈斯蒂（Trevor Hastie）、萨哈隆·罗塞特（Saharon Rosset）、罗伯特·蒂布什拉尼（Robert Tibshirani）和吉朱（Ji Zhu）。支持向量机的整个正则化路径。机器学习研究杂志，5（10月）：1391-14152004·Zbl 1222.68213号 [15] Andrew Ilyas、Shibani Santurkar、Dimitris Tsipras、Logan Engstrom、Brandon Tran和Aleksander Madry。相反的例子不是错误，而是特性。预付款 [16] Susmit Jha、Uyeong Jang、Somesh Jha和Brian Jalain。使用数据流形检测对手示例。InMILCOM 2018-2018 IEEE军事通信会议 [17] 马克·库里和迪伦·哈德菲尔德-梅内尔。关于对抗性示例的几何学。arXiv预印本arXiv:1811.005252018。 [18] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。2014年国际学习代表大会·Zbl 1431.68002号 [19] 亚历克斯·克利舍夫斯基（Alex Krizhevsky）和杰弗里·辛顿（Geoffrey Hinton）。从微小图像中学习多层特征。技术报告，多伦多大学，2009年。 [20] 刘紫薇、罗萍、王晓刚和唐晓鸥。深入学习野生人脸属性。2015年计算机视觉国际会议（ICCV）论文集。 [21] Lyu Kaifeng和Li Jian。梯度下降使均匀神经网络的裕度最大化。2020年国际学习代表大会。URLhttps://openreview.net/forum？id=SJeLIgBKPS。 [22] 大卫·麦凯和大卫·麦克凯。信息理论、推理和学习算法。剑桥大学出版社，2003年·Zbl 1055.94001号 [23] Saeed Mahloujifar、Dimitrios I Diochnos和Mohammad Mahmoody。健壮学习中注意力集中的诅咒：逃避和毒害注意力集中的攻击。在·兹比尔1473.68155 [24] Preetum Nakkiran公司。讨论“对抗性示例不是bug，它们是特性”：对抗性示例也只是bug。蒸馏，2019年。doi:10.23915/蒸馏.00019.5。https://direct.pub/2019/adex-bugs-discussion/response-5。 [25] 尼古拉斯·帕尔诺特、伊恩·古德费罗、瑞恩·谢特利、鲁本·芬曼和帕特里克·麦克丹尼尔。克里夫汉斯v1。0.0：一个对抗性的机器学习库。arXiv预打印 [26] Fabian Pedregosa、Ga¨el Varoqueux、Alexandre Gramfort、Vincent Michel、Bertrand Thirion、Olivier Grisel、Mathieu Blondel、Peter Prettenhofer、Ron Weiss、Vincent-Dubourg等人。Scikit-learn：机器学习蟒蛇。机器学习研究杂志，12（10月）：2825-28302011·Zbl 1280.68189号 [27] 托马索·波乔（Tomaso Poggio）、川口健二（Kenji Kawaguchi）、廖千里（Qianli Liao）、白兰度·米兰达（Brando Miranda）、洛伦佐·罗萨斯科（Lorenzo Rosasco）、泽维尔·波瓦（Xavier Boix）、杰克·希达里（Jac。深度学习理论iii：解释非过拟合难题，2017年。 [28] 艾坦·理查森和亚伊尔·韦斯。关于gans和gmms。神经信息处理系统研究进展31：2018年神经信息处理体系年会，2018年12月3日至8日，加拿大蒙特利尔。，第5852-5863页，2018年。 [29] 路德维希·施密特（Ludwig Schmidt）、什巴尼·桑图卡尔（Shibani Santurkar）、迪米特里斯·齐普拉斯（Dimitris Tsipras）、库纳尔·塔尔瓦尔（Kunal Talwar）和亚历山大·马德里（Aleksander Madry）。对抗性稳健泛化需要更多数据。神经信息研究进展 [30] L.Schott、J.Rauber、W.Brendel和M.Bethge。面向第一个基于mnist的对抗性鲁棒神经网络模型。国际学习代表大会 [31] Ali Shafahi、W Ronny Huang、Christoph Studer、Soheil Feizi和Tom Goldstein。对抗性例子不可避免吗？2019年国际学习代表大会。 [32] 阿迪·沙米尔（Adi Shamir）、伊泰·萨夫兰（Itay Safran）、埃亚尔·罗宁（Eyal Ronen）和奥尔·邓克尔曼（Orr Dunkelman）。对具有小汉明距离的对抗性示例存在性的简单解释。CoRR，abs/1901.108612019年。统一资源定位地址http://arxiv.org/abs/1901.10861。 [33] 丹尼尔·索德利、埃拉德·霍弗、莫尔·什皮杰尔·纳森、苏里亚·古纳塞卡尔和内森·斯雷布罗。可分离数据梯度下降的隐式偏差。J.马赫。学习。2018年，决议，19:70:1-70:57。统一资源定位地址http://jmlr.org/papers/v19/18-188.html。 ·兹比尔1477.62192 [34] David Stutz、Matthias Hein和Bernt Schiele。摆脱对抗性鲁棒性和通用性。IEEE/CVF计算机视觉会议论文集 [35] Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna、Dumitru Erhan、Ian J.Goodfellow和Rob Fergus。神经网络的有趣特性。In2nd国际 [36] 托马斯·塔奈和刘易斯·格里芬。对敌对例子现象的边界倾斜透视。CoRR，abs/1608.076902016年。统一资源定位地址http://arxiv.org/abs/1608。7690 [37] 张洪阳、余耀东、焦建涛、邢埃里克、劳伦特·加维和迈克尔·乔丹。在理论上权衡稳健性和准确性。诉讼中 [38] 张永刚、田新美、李娅、王新超和陶大成。主成分对抗示例。IEEE图像处理汇刊，29:4804-48152020·Zbl 07586213号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。