文件Open Access徽标

稳健性不应与准确性成正比

作者 萨迪娅·乔杜里, 鲁思·厄纳



PDF格式
缩略图PDF

文件

LIPIcs公司。强制执行.2022.5.pdf
  • 文件大小:5.71 MB
  • 20页

文件标识符

作者详细信息

萨迪娅·乔杜里
  • 加拿大多伦多约克大学EECS系
露丝·乌尔纳
  • 加拿大多伦多约克大学EECS系

致谢

露丝·厄纳(Ruth Urner)也是多伦多病媒研究所(Toronto’s Vector Institute)的附属教员。

引用为获取BibTex

萨迪娅·乔杜里(Sadia Chowdhury)和露丝·厄纳(Ruth Urner)。稳健性不应与准确性成正比。第三届负责任计算基础研讨会(FORC 2022)。莱布尼茨国际信息学论文集(LIPIcs),第218卷,第5:1-5:20页,达格斯图尔-莱布尼兹-泽特鲁姆信息学研究所(2022)
https://doi.org/10.4230/LIPIcs.FORC.2022.5

摘要

深度学习模型中的对抗性示例现象引起了人们对其可靠性和可信度的极大关注:在许多情况下,不可察觉的扰动可能会错误地推翻神经网络的预测。该领域的应用研究主要集中在开发新型对抗性攻击策略或建立更好的防御体系。人们一再指出,对抗性鲁棒性可能与高精度要求相冲突。在这项工作中,我们从更原则的角度来研究对抗性示例现象的建模。我们认为,确定模型在小扰动下的标签更改是否合理,应该按照基础数据生成过程进行。通过一系列形式化构造,系统地分析了标准贝叶斯分类器和鲁棒贝叶斯分类器之间的关系,我们提出了对抗性鲁棒性作为局部自适应度量的理由。我们提出了一种定义这种局部自适应鲁棒性损失的新方法,表明它具有自然的经验对应项,并以数据信息自适应鲁棒性半径的形式开发了相应的算法指导。我们证明了我们的自适应鲁棒数据增强在确定性标签下保持了1-最近邻分类的一致性,因此我们认为鲁棒性不应与准确性相冲突。

主题分类

ACM科目分类
  • 计算理论→机器学习理论
关键词
  • 统计学习理论
  • 贝叶斯最优分类器
  • 对抗性扰动
  • 自适应鲁棒损失

韵律学

工具书类

  1. 纳维德·阿赫塔(Naveed Akhtar)和阿杰马尔·棉恩(Ajmal Mian)。对抗性攻击对计算机视觉深度学习的威胁:一项调查。IEEE接入,6:14410-144302018。谷歌学者
  2. 哈桑·阿什蒂亚尼(Hassan Ashtiani)、维纳亚克·巴沙克(Vinayak Pathak)和鲁斯·乌纳(Ruth Urner)。对抗干扰下的黑匣子认证和学习。第37届国际机器学习会议论文集,ICML 2020,2020。谷歌学者
  3. Idan Attias、Aryeh Kontorovich和Yishay Mansour。改进了鲁棒学习的泛化界限。《算法学习理论》,ALT,第162-183页,2019年。谷歌学者
  4. Pranjal Awasthi、Abhratanu Dutta和Aravindan Vijayaraghavan。关于对抗性示例和多项式优化的鲁棒性。《神经信息处理系统进展》,NeurIPS,第13760-13770页,2019年。谷歌学者
  5. 约格什·巴拉吉(Yogesh Balaji)、汤姆·戈尔茨坦(Tom Goldstein)和朱迪·霍夫曼(Judy Hoffman)。实例自适应对抗训练:改进神经网络中的精度权衡。CoRR,abs/1910.080512019年。网址:http://arxiv.org/abs/1910.08051.
  6. Robi Bhattacharjee和Kamalika Chaudhuri。非参数方法何时稳健?第37届国际机器学习会议论文集,ICML 2020,2020。谷歌学者
  7. Robi Bhattacharjee和Kamalika Chaudhuri。自适应鲁棒性的一致非参数方法。CoRR,abs/2102.090862021。网址:http://arxiv.org/abs/1202.09086.
  8. 塞巴斯蒂安·布贝克(Sébastien Bubeck)、尹达·李(Yin Tat Lee)、埃里克·普莱斯(Eric Price)和伊利亚·拉森什坦(Ilya P.Razenshteyn)。来自计算约束的对抗性示例。第36届国际机器学习会议记录,ICML,第831-840页,2019年。谷歌学者
  9. 尼古拉斯·卡里尼(Nicholas Carlini)、阿尼什·阿塔利(Anish Athalye)、尼古拉斯·帕普诺特(Nicolas Papernot)、维兰德·布伦德尔(Wieland Brendel)、乔纳斯·劳贝尔(Jonas Rauber)、迪米特里斯·齐普拉斯(Dimitris Tsipras)、伊恩·古德费罗(I。评估对抗性稳健性。CoRR,abs/1902.067052019年。网址:http://arxiv.org/abs/1902.06705.
  10. 阿尼尔班·查克拉博蒂(Anirban Chakraborty)、玛娜尔·阿拉姆(Manaar Alam)、维沙尔·戴伊(Vishal Dey)、阿努帕姆·查托帕迪亚(Anupam Chattopadhyay)和德布迪德·穆霍帕迪亚。对抗性攻击和防御:一项调查。CoRR,abs/1810.000692018年。网址:http://arxiv.org/abs/1810.00069.
  11. 卡马利卡·乔杜里(Kamalika Chaudhuri)和桑乔伊·达斯古普塔(Sanjoy Dasgupta)。最近邻分类的收敛速度。《神经信息处理系统进展》,NIPS,第3437-3445页,2014年。谷歌学者
  12. Jeremy M.Cohen、Elan Rosenfeld和J.Zico Kolter。通过随机平滑验证对抗鲁棒性。第36届国际机器学习会议论文集,ICML,第1310-1320页,2019年。谷歌学者
  13. Daniel Cullina、Arjun Nitin Bhagoji和Pratek Mittal。在对手面前学习速度。《神经信息处理系统进展》,NeurIPS,第230-241页,2018。谷歌学者
  14. 丁伟光(Gavin Weiguang Ding)、亚什·夏尔玛(Yash Sharma)、刘克立(Kry Yik Chau Lui)和黄瑞彤(Ruitong Huang)。MMA训练:通过对抗训练实现直接输入空间裕度最大化。在第八届国际学习代表大会上,ICLR,2020年。谷歌学者
  15. 迪米特里奥斯·迪奥奇诺斯(Dimitrios Diochnos)、赛义德·马卢吉法尔(Saeed Mahloujifar)和穆罕默德·马穆迪(Mohammad Mahmoody)。对手风险和稳健性:统一分布的一般定义和含义。神经信息处理系统进展31,NeurIPS,第10359-10368页,2018年。谷歌学者
  16. 乌列尔·菲戈(Uriel Feige)、伊莎·曼苏尔(Yishay Mansour)和罗伯特·夏皮雷(Robert Schapire)。在存在损坏输入的情况下进行学习和推理。COLT学习理论会议,第637-657页,2015年。谷歌学者
  17. Yarin Gal和Lewis Smith。理想化模型没有对抗性示例的充分条件:贝叶斯神经网络的理论和实证研究,2018年。网址:http://arxiv.org/abs/1806.00667.
  18. 伊恩·古德费罗(Ian J.Goodfellow)、帕特里克·D·麦克丹尼尔(Patrick D.McDaniel)和尼古拉斯·帕普诺特(Nicolas Papernot)。使机器学习对敌对输入具有鲁棒性。Commun公司。ACM,61(7):56-662018年。谷歌学者
  19. Pascale Gourdeau、Varun Kanade、Marta Kwiatkowska和James Worrell。关于稳健分类的难度。《神经信息处理系统进展》32,NeurIPS,第7444-74532019页。谷歌学者
  20. 黄瑞彤、徐冰、戴尔·舒尔曼斯和Csaba Szepesvari。与强大的对手一起学习。CoRR,abs/1511.030342015年。网址:http://arxiv.org/abs/1511.03034.
  21. Andrew Ilyas、Shibani Santurkar、Dimitris Tsipras、Logan Engstrom、Brandon Tran和Aleksander Madry。相反的例子不是错误,而是特性。《神经信息处理系统进展》32:NeurIPS,第125-136页,2019年。谷歌学者
  22. 马克·库里和迪伦·哈德菲尔德-梅内尔。沃罗诺伊约束下的对抗训练。CoRR,abs/1905.010192019年。网址:http://arxiv.org/abs/1905.01019.
  23. 萨默里·科波图夫。k-nn回归适用于局部内在维数。《神经信息处理系统进展》,NIPS,第729-737页,2011年。谷歌学者
  24. Aleksander Madry、Aleksandar Makelov、Ludwig Schmidt、Dimitris Tsipras和Adrian Vladu。面向抗对抗性攻击的深度学习模型。在2018年ICLR第六届国际学习代表大会上。谷歌学者
  25. 奥马尔·蒙塔塞尔(Omar Montasser)、苏尔比·戈尔(Surbhi Goel)、伊利亚斯·迪亚科尼科拉斯(Ilias Diakonikolas)和内森·斯雷布罗(Nathan Srebro)。有效地学习带有噪声的对抗性鲁棒半空间。arXiv预印本,2020年。网址:http://arxiv.org/abs/2005.07652.
  26. Omar Montasser、Steve Hanneke和Nathan Srebro。VC类具有强大的可学习性,但只是不恰当。在COLT学习理论会议上,第2512-2530页,2019年。谷歌学者
  27. 秦崇礼(Chongli Qin)、詹姆斯·马滕斯(James Martens)、斯文·戈沃尔(Sven Gowal)、迪利普·克里希南(Dilip Krishnan)、克里希纳穆西·德维约坦(Krishnamurthy Dvijotham)、阿尔胡塞因·法齐(Alhussein Fawzi)、索哈姆·德。通过局部线性化实现对抗鲁棒性。神经信息处理系统进展32,NeurIPS,第13824-138332019页。谷歌学者
  28. 哈迪·萨勒曼(Hadi Salman)、杰里·李(Jerry Li)、伊利亚·拉森什坦(Ilya P.Razenshteyn)、张鹏川(Pengchuan Zhang)、张欢(Huan Zhang)、塞巴斯蒂安·布贝克(Sébastien Bubeck)。通过经过对手训练的平滑分类器进行显著稳健的深度学习。《神经信息处理系统进展》32,NeurIPS,第11289-11300页,2019年。谷歌学者
  29. 路德维希·施密特(Ludwig Schmidt)、什巴尼·桑图卡尔(Shibani Santurkar)、迪米特里斯·齐普拉斯(Dimitris Tsipras)、库纳尔·塔尔瓦尔(Kunal Talwar)和亚历山大·马德里(Aleksander Madry)。对抗性稳健泛化需要更多数据。《神经信息处理系统进展》,NeurIPS,第5014-5026页,2018年。谷歌学者
  30. Shai Shalev-Shwartz和Shai Ben-David。理解机器学习:从理论到算法。剑桥大学出版社,2014年。谷歌学者
  31. 英戈·斯坦沃特和克林特·斯科维尔。使用高斯核的支持向量机的快速速率。《统计年鉴》,35(2):575-6072007。谷歌学者
  32. Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna、Dumitru Erhan、Ian J.Goodfellow和Rob Fergus。神经网络的有趣特性。2014年,在ICLR第二届国际学习代表大会上。谷歌学者
  33. 迪米特里斯·齐普拉斯(Dimitris Tsipras)、什巴尼·桑图卡尔(Shibani Santurkar)、洛根·恩斯特罗姆(Logan Engstrom)、亚历山大·特纳(Alexander Turner)和亚历山大·马德里(Aleksander Madry)。稳健性可能与准确性不一致。2019年,在ICLR第七届国际学习代表大会上。谷歌学者
  34. 鲁思·厄纳(Ruth Urner)、莎伦·伍尔夫(Sharon Wulff)和谢本·达维德(Shai Ben-David)。PLAL:基于集群的主动学习。在COLT 2013-第26届学习理论年会,第376-3972013页。谷歌学者
  35. 王毅珍、萨默什·贾阿和卡马利卡·乔杜里。分析最近邻对敌对示例的鲁棒性。《第35届国际机器学习会议记录》,ICML,第5120-5129页,2018年。谷歌学者
  36. 杨焕瑞、张晶驰、程新派、王文翰、陈依然和李海。竹子:球形数据增强,对抗来自各个方向的敌对攻击。2019年人工智能安全研讨会与2019年第三十三届AAAI人工智能会议同期举行。谷歌学者
  37. Yao-Yuan Yang、Cyrus Rashtchian、Yizhen Wang和Kamalika Chaudhuri。非参数方法的对抗示例:攻击、防御和大样本限制。CoRR,abs/1906.03312019年。网址:http://arxiv.org/abs/1906.03310.
  38. Yao-Yuan Yang、Cyrus Rashtchian、Yizhen Wang和Kamalika Chaudhuri。非参数分类的鲁棒性:通用攻击和防御。第23届国际人工智能与统计会议,AISTATS,第941-951页,2020年。谷歌学者
  39. Yao-Yuan Yang、Cyrus Rashtchian、Hongyang Zhang、Russ R.Salakhutdinov和Kamalika Chaudhuri。准确度与稳健性的比较。神经信息处理系统进展33 NeurIPS,2020。谷歌学者
  40. Dong Yin、Kannan Ramchandran和Peter L.Bartlett。对抗性稳健泛化的Rademacher复杂性。第36届国际机器学习会议记录,ICML,第7085-7094页,2019年。谷歌学者
  41. 余杭、刘爱山、刘祥龙、李耿超、罗萍、冉成、杨继晨和张崇志。Pda:深度神经网络一般鲁棒性的渐进数据增强,2020年。网址:http://arxiv.org/abs/1909.04839.
  42. 张洪阳、余耀东、焦建涛、埃里克·P·星、劳伦特·埃尔·加维和迈克尔·乔丹。在理论上权衡稳健性和准确性。第36届国际机器学习会议记录,ICML,第7472-74822019页。谷歌学者
问题/备注/反馈
X(X)

Dagstuhl出版社反馈


感谢您的反馈!

已提交反馈

无法发送消息

请稍后再试或发送电子邮件