×

将未标记数据纳入分布式稳健学习。 (英语) Zbl 07370573号

总结:我们研究了一种称为分布式稳健学习(DRL)的稳健替代方法,该方法用于学习如何对抗可以从指定分布集中选择数据分布的对手。我们说明了当前DRL公式的一个问题,该公式依赖于对手允许分布的过于宽泛的定义,导致学习分类器无法自信地预测。我们提出了一种解决方案,将未标记数据纳入DRL问题,以进一步限制对手。我们表明,这种新的公式适用于基于随机梯度的优化,并对学习分类器的未来性能提供了可计算的保证,类似于传统DRL的保证,但比传统DRL更严格。我们在14个实际数据集上检查了这个新公式的性能,发现在传统DRL都不产生分类器的情况下,它通常会产生有效的分类器,并且性能保证非常重要。受这些结果的启发,我们将DRL公式扩展到主动学习,使用标准模型转换启发式的新的分布式版本。我们的主动学习算法通常在实际数据集上获得优于原始启发式算法的学习性能。

MSC公司:

68T05型 人工智能中的学习和自适应系统

软件:

亚当;UCI-毫升
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] 索鲁什·沙菲埃扎德赫·阿巴德、佩曼·莫哈杰林·莫哈吉林·埃斯法哈尼和丹尼尔·库恩。分布稳健逻辑回归。《神经信息处理系统进展》,第1576-1584页,2015年。
[2] 阿哈龙·本·塔尔(Aharon Ben-Tal)、迪克·登·赫托格(Dick Den Hertog)、安贾·德·瓦格奈尔(Anja De Waegenaere)、贝特兰·梅伦伯格(Bertrand Melenberg)和吉杰斯·雷南(Gijs Rennen)。受不确定概率影响的优化问题的稳健解。
[3] 迪米特里斯·贝尔齐马斯(Dimitris Bertsimas)、维沙尔·古普塔(Vishal Gupta)和内森·卡卢斯(Nathan Kallus)。数据驱动的稳健优化。数学规划,167(2):235-2922018·Zbl 1397.90298号
[4] 何塞·布兰谢和杨康。基于wasserstein距离的样本外推断。arXiv预印arXiv:1605.013402016。
[5] 何塞·布兰谢和杨康。基于分布式鲁棒优化的半监督学习。数据分析与应用3:计算、分类、财务、统计和随机方法,5:1-332020。
[6] Jose Blanchet和Karthyek Murthy。通过优化运输量化分销模式风险。运筹学数学,44(2):565-6002019·Zbl 1434.60113号
[7] 何塞·布兰谢(Jose Blanchet)、杨康(Yang Kang)和卡提耶克·穆尔西(Karthyek Murthy)。稳健的wasserstein轮廓推理及其在机器学习中的应用。应用概率杂志,56(3):830-8572019·Zbl 1436.62336号
[8] Mariusz Bojarski、Davide Del Testa、Daniel Dworakowski、Bernhard Firner、Beat Flepp、Prasoon Goyal、Lawrence D Jackel、Mathew Monfort、Urs Muller、Jiakai Zhang等。无人驾驶汽车的端到端学习。arXiv:1604.073162016。
[9] 乔纳森·博文和朱奇吉。变分分析技术。Springer-Verlag纽约,2005年·Zbl 1076.49001号
[10] 蔡文斌(Wenbin Cai)、张业勋(Yexun Zhang)、张亚萍(Ya Zhanu)、周思源(Siyuan Zhou)、王温泉(Wenquan Wang)、陈卓翔(Zhouxiang Chen)和克里斯·丁。主动学习以最大程度地改变模型。ACM公司
[11] 朱塞佩·卡洛·卡拉菲奥雷(Giuseppe Carlo Calafiore)和劳伦特·埃尔·加维(Laurent El Ghaoui)。关于分布鲁棒的机会约束线性规划。优化理论与应用杂志,130·Zbl 0983.93070号
[12] 尼古拉斯·卡里尼和大卫·瓦格纳。音频对抗示例:针对语音到文本的攻击。2018年IEEE安全与隐私研讨会(SPW),第1-7页。IEEE,2018年。
[13] Yair Carmon、Aditi Raghunathan、Ludwig Schmidt、John C Duchi和Percy S Liang。未标记的数据提高了对抗性鲁棒性。神经信息研究进展
[14] 陈凯轩、姚丽娜、张大林、张晓军、龙国栋和王森。用于以人为中心的感知的分布式鲁棒半监督学习。诉讼中
[15] 陈瑞迪(Ruidi Chen)和艾奥尼斯·切·帕沙利迪斯(Ioannis Ch Paschalidis)。一种基于分布鲁棒优化的回归模型的鲁棒学习方法。机器学习研究杂志,19(1):517-5642018·Zbl 1437.68149号
[16] Xin Chen、Melvyn Sim和Peng Sun。随机规划的稳健优化观点。运筹学,55(6):1058-10712007·Zbl 1167.90608号
[17] 塞巴斯蒂安·克莱奇、爱德华·钱恩和贾斯汀·所罗门。随机瓦瑟斯坦重心。在2018年国际机器学习会议上,第999-1008页。
[18] Charles J Clopper和Egon S Pearson。在二项式情况下所示的置信限或基准限的使用。《生物特征》,26(4):404-4131934·合同格式60.1175.02
[19] Jeremy M Cohen、Elan Rosenfeld和J Zico Kolter。通过随机平滑验证对抗鲁棒性。arXiv:1902.02912019。
[20] Erick Delage和Yinyu Ye。矩不确定性下的分布稳健优化及其在数据驱动问题中的应用。运筹学,58(3):595-6122010·Zbl 1228.90064号
[21] Dheeru Dua和Casey Graff。UCI机器学习库,2019年。统一资源定位地址http://archive。ics.uci.edu/ml。
[22] John Duchi、Peter Glynn和Hongseok Namkoong。稳健优化统计:广义经验似然法。arXiv:1610.034252016。
[23] 金塔尔·卡罗琳娜·齐加特和丹尼尔·罗伊。计算具有比训练数据更多参数的深度(随机)神经网络的非有效泛化界。
[24] 埃姆雷·埃尔多安和加鲁德·艾扬格。模糊机会约束问题和稳健优化。数学规划,107(1-2):37-612006·Zbl 1134.90028号
[25] Peyman Mohajerin Esfahani和Daniel Kuhn。使用Wasserstein度量的数据驱动分布式稳健优化:性能保证和易处理的重新设计·Zbl 1433.90095
[26] 凯文·埃克霍尔特(Kevin Eykholt)、伊万·埃夫蒂莫夫(Ivan Evtimov)、厄伦斯·费尔南德斯(Earlence Fernandes)、李波(Bo Li)、阿米尔·拉赫马蒂(Amir Rahmati)、肖朝伟(Chaowei Xiao)、阿图尔·普拉卡什(Atul。深入学习模型的强大物理世界攻击。arXiv:1707.089452017。
[27] Alexander Freytag、Erik Rodner和Joachim Denzler。选择有影响力的例子:积极学习,预期模型输出发生变化。欧洲计算机会议·Zbl 1458.68251号
[28] Charlie Frogner和Tomaso Poggio。从边缘快速灵活地推断联合分布。在国际机器学习会议上,第2002-2011、2019页。
[29] Rui Gao和Anton J Kleywegt。具有Wasserstein距离的分布稳健随机优化。arXiv:1604.021992016。
[30] 高锐、陈曦和安东·克莱维特。统计学习中的Wasserstein分布稳健性和正则性。arXiv:1712.06050,2017。
[31] 乔尔·高和梅尔文·西姆。分布稳健优化及其可处理近似。运筹学,58(4-part-1):902-9172010年·Zbl 1228.90067号
[32] Yves Grandvalet和Yoshua Bengio。熵最小化半监督学习。《神经信息处理系统进展》,第529-536页,2005年。
[33] 郭玉红和戴尔·舒尔曼斯。判别批处理模式主动学习。神经信息处理系统进展,第593-600页,2008年。
[34] Awni Hannun、Carl Case、Jared Casper、Bryan Catanzaro、Greg Diamos、Erich Elsen、Ryan Prenger、Sanjeev Satheesh、Shubho Sengupta、Adam Coates等。深度语音:扩大端到端语音识别。arXiv:1412.55672014。
[35] 瓦西利·霍夫丁。有界随机变量和的概率不等式。美国统计协会杂志,58(301):13-301963.ISSN 0162-1459.doi:·Zbl 0127.10602号
[36] Brody Huval、Tao Wang、Sameep Tandon、Jeff Kiske、Will Song、Joel Pazhayampallil、Mykhaylo Andriluka、Pranav Rajpurkar、Toki Migimatsu、Royce Cheng-Yue等。公路驾驶深度学习的实证评估。arXiv:1504.017162015。
[37] Jean-Claude Junqua和Jean-Paul Haton。《自动语音识别的鲁棒性:基础与应用》,第341卷。施普林格科学与商业媒体,2012年。
[38] 加里·金。生态推理问题的解决方案:从聚合数据重建个体行为。普林斯顿大学出版社,2013年。
[39] Diederik P Kingma和Jimmy Ba.Adam:一种随机优化方法。arXiv:1412.69802014年。
[40] 贝诺伊特·克劳克纳(Benoit Kloeckner)。有限支持测度的近似。ESAIM:控制、优化和变分计算,18(2):343-3592012·Zbl 1246.49040号
[41] Daniel Kuhn、Peyman Mohajerin Esfahani、Viet Anh Nguyen和Soroosh Shafieezadeh Abadeh。Wasserstein分布鲁棒优化:机器学习理论与应用。分析时代的运筹学与管理科学,第130-166页。信息,2019年。
[42] Aleksander Madry、Aleksandar Makelov、Ludwig Schmidt、Dimitris Tsipras和Adrian Vladu。面向对抗性攻击的深度学习模型。arXiv:1706.060832017。
[43] 宫本武夫、前田信一、小山正彦、中中健和石井慎。虚拟对抗训练的分布平滑。arXiv:1507.006772015。
[44] 阿米尔·纳杰菲(Amir Najafi)、前田信义(Shin-ichi Maeda)、小山正男(Masanori Koyama)和宫本武鲁(Takeru Miyato)。从不完整数据中学习时对抗性扰动的鲁棒性。神经信息研究进展
[45] Hongseok Namkoong和John C Duchi。f-发散分布稳健优化的随机梯度方法。《神经信息处理系统进展》,第2208-2216页,2016年。
[46] Svetlozar T Rachev和Ludger Rüschendorf。质量运输问题:第一卷:理论,第一卷。Springer科学与商业媒体,1998年·Zbl 0990.60500号
[47] Aditi Raghunathan、Jacob Steinhardt和Percy S Liang。证明对抗性示例鲁棒性的半定松弛。《神经信息处理系统进展》,第10877-10887页,2018年。
[48] Burr Settles、Mark Craven和Soumya Ray。多实例主动学习。神经信息处理系统进展,第1289-1296页,2008年。
[49] 索鲁什·沙菲埃扎德赫·阿巴德(Soroosh Shafieezadeh-Abadeh)、丹尼尔·库恩(Daniel Kuhn)和佩曼·穆罕默德·埃斯法哈尼(Peyman Mohajerin Esfahani)。通过大众运输实现正规化。机器学习研究杂志,20(103):1-682019·兹比尔1434.68450
[50] Gagandeep Singh、Timon Gehr、Matthew Mirman、Markus Püschel和Martin Vechev。快速有效的稳健性认证。《神经信息处理系统进展》,第10802-108132018页。
[51] Aman Sinha、Hongseok Namkoong和John Duchi。通过原则性对抗训练证明某些分布稳健性。国际学习会议·Zbl 1489.62193号
[52] Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna、Dumitru Erhan、Ian Goodfellow和Rob Fergus。神经网络的有趣特性。arXiv:1312.61992013。
[53] C.维拉尼。最佳运输理论专题。美国数学学会,2003年·Zbl 1106.90001号
[54] 沃尔夫拉姆·维斯曼(Wolfram Wiesemann)、丹尼尔·库恩(Daniel Kuhn)和梅尔文·西姆(Melvyn Sim)。分布稳健凸优化。运筹学,62(6):1358-13762014·Zbl 1327.90158号
[55] Yazhou Yang和Marco Loog。逻辑回归主动学习的基准和比较。模式识别,83:401-4152018。
[56] 袁晓勇、潘和、朱奇乐和李晓林。对抗性示例:深度学习的攻击和防御。2019年IEEE神经网络和学习系统汇刊。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。