×

兹马思-数学第一资源

将未标记数据合并到分布式鲁棒学习中。(英语) Zbl 07370573
小结:我们研究了一种可替代经验风险最小化的方法,称为分布式鲁棒学习(DRL),在这种方法中,一个人可以学习如何对抗对手,而对手可以从一组指定的分布中选择数据分布。我们举例说明了当前DRL公式的一个问题,它依赖于对对手允许分布的过于宽泛的定义,导致学习的分类器无法以任何置信度进行预测。我们提出了一个解决方案,将未标记的数据合并到DRL问题中,以进一步约束对手。我们证明了这个新的公式对于基于随机梯度的优化是可行的,并且对学习的分类器的未来性能产生了可计算的保证,类似于传统DRL的保证,但比传统DRL更严格。我们在14个实际数据集上检验了这个新公式的性能,发现在传统的DRL既不产生性能保证的情况下,它通常能产生有效的分类器。受这些结果的启发,我们将我们的DRL公式扩展到主动学习,使用一种新颖的、分布式健壮的标准模型变化启发式。我们的主动学习算法在实际数据集上的学习性能往往优于原始的启发式算法。
理学硕士:
68T05型 人工智能中的学习与自适应系统
软件:
UCI毫升
PDF格式 BibTeX公司 XML 引用
全文: 链接
参考文献:
[1] 索鲁什·沙菲耶扎德·阿巴德、佩曼·莫哈杰林·莫哈杰林·伊斯法哈尼和丹尼尔·库恩。分布稳健logistic回归。神经信息处理系统指南,1576-1584页,2015年。
[2] 阿哈龙·本·塔尔、迪克·登赫托格、安贾·德·韦格纳尔、贝特朗·梅伦伯格和吉伊斯·雷恩。不确定概率影响下优化问题的鲁棒解。
[3] Dimitris Bertsimas,Vishal Gupta和Nathan Kallus。数据驱动的稳健优化。数学规划,167(2):235-2922018年·Zbl 1397.90298号
[4] 何塞·布兰切特和杨康。基于wasserstein距离的样本外推理。arXiv预印本arXiv:1605.01340,2016年。
[5] 杨赫和何塞·康赫。基于分布式鲁棒优化的半监督学习。数据分析与应用3:计算、分类、金融、统计和随机方法,5:1-33,2020年。
[6] 何塞·布兰切特和卡瑟耶克·默蒂。通过最优运输量化分布模型风险。运筹学数学,44(2):565-6002019·Zbl 1434.60113号
[7] 何塞·布兰切特、杨康和卡瑟耶克·穆尔蒂。鲁棒wasserstein轮廓推理及其在机器学习中的应用.应用概率杂志,56(3):830-8572019·Zbl 1436.62336
[8] Mariusz Bojarski,Davide Del Testa,Daniel Dworakowski,Bernhard Firner,Beat Flepp,Prasoon Goyal,Lawrence D Jackel,Mathew Monfort,Urs Muller,Jiakai Zhang等。自动驾驶汽车的端到端学习。arXiv:1604.073162016。
[9] 乔纳森博文和朱启基。变分分析技术。斯普林格·维拉格,纽约,2005年·Zbl 1076.49001号
[10] 蔡文斌,张奕迅,张雅诗,周思源,王文泉,陈卓翔,丁克力。模型变化最大的分类主动学习.ACM
[11] 朱塞佩.卡洛.卡拉菲奥雷和劳伦特.高维.分布鲁棒信道约束线性规划.最优化理论与应用杂志,130·Zbl 0983.93070
[12] 尼古拉斯·卡里尼和大卫·瓦格纳。音频对抗示例:针对语音到文本的攻击。2018年IEEE安全与隐私研讨会(SPW),第1-7页。IEEE,2018年。
[13] 亚尔·卡蒙、阿迪蒂·拉古纳坦、路德维希·施密特、约翰·C·杜奇和珀西·S·梁。未标记的数据提高了对抗性健壮性。神经信息中的无意识
[14] 陈凯璇,姚丽娜,张大林,张晓军,龙国栋,王森。以人为中心的分布式鲁棒半监督学习。进货
[15] 陈瑞迪和伊欧尼斯·查利迪斯。基于分布稳健优化的回归模型鲁棒学习方法.机器学习研究杂志,19(1):517-56412018·Zbl 1437.68149
[16] 陈欣欣,辛明美,孙鹏。随机规划的稳健优化观点。运筹学,55(6):1058-10712007·Zbl 1167.90608号
[17] 塞巴斯蒂安·克莱奇,爱德华·钱,贾斯汀·所罗门。随机wasserstein重心。国际机器学习会议,第999-1008页,2018年。
[18] 查尔斯克洛珀和伊贡的皮尔逊。在二项式情况下说明的置信或基准极限的使用。生物医学,26(4):404-4131934·京FM 60.1175.02
[19] 杰里米·M·科恩、伊兰·罗森菲尔德和J·齐科·科尔特。通过随机平滑验证对抗性稳健性。arXiv:1902.029182019年。
[20] 埃里克·德拉格和叶银玉。矩不确定性下的分布鲁棒优化及其在数据驱动问题中的应用。运筹学,58(3):595-6122010·Zbl 1228.90064
[21] 迪鲁·杜瓦和凯西·格拉夫。UCI机器学习资源库,2019年。统一资源定位地址http://archive。ics.uci.edu/毫升。
[22] 约翰·杜奇、彼得·格林和洪赛克·南孔。稳健优化的统计:广义经验似然法。arXiv:1610.034252016。
[23] 金塔·卡罗琳娜·朱盖特和丹尼尔·M·罗伊。计算参数比训练数据多的深层(随机)神经网络的非尖锐泛化界。
[24] 埃姆雷·埃尔多安和加鲁德·艾扬格尔。模糊机会约束问题与稳健优化。数学规划,107(1-2):37-612006·Zbl 1134.90028
[25] 佩曼·莫哈杰林·伊斯法哈尼和丹尼尔·库恩。使用Wasserstein度量的数据驱动分布式鲁棒优化:性能保证和可处理的重构·Zbl 1433.90095
[26] Kevin Eykholt,Ivan Evtimov,Earlence Fernandes,Bo Li,Amir Rahmati,肖朝伟,Atul Prakash,Tadayoshi Kohno和Dawn Song。深入学习模型的强大物理世界攻击。arXiv:1707.089452017。
[27] Alexander Freytag,Erik Rodner和Joachim Denzler。选择有影响的例子:主动学习与预期的模型输出变化。欧洲计算机会议·Zbl 1458.68251
[28] 查理·弗罗格纳和汤玛索·波吉奥。从它们的边缘快速而灵活地推断联合分布。国际机器学习会议,2002-2011,2019页。
[29] 高睿和克莱维特。具有Wasserstein距离的分布鲁棒随机优化.arXiv:1604.021992016。
[30] 高睿,陈曦,克莱维特。《统计学习中的Wasserstein分布稳健性和正则化》,arXiv:1712.0605017。
[31] 乔尔·高和梅尔文·西姆。分布式鲁棒优化及其可处理近似.运筹学,58(4部分1):902-9172010·Zbl 1228.90067
[32] 伊夫·格兰德瓦莱和约斯华·本吉奥。半监督学习熵最小化。神经信息处理系统的进展,529-536页,2005年。
[33] 郭玉红和戴尔·舒尔曼。区分批处理模式主动学习。神经信息处理系统导论,593-6002008页。
[34] Awni Hannun,Carl Case,Jared Casper,Bryan Catanzaro,Greg Diamos,Erich Elsen,Ryan Prenger,Sanjeev Satheesh,Shubho Sengupta,Adam Coates等人,《深度语音:扩大端到端语音识别》,arXiv:1412.55672014。
[35] 瓦西里·霍夫丁。有界随机变量和的概率不等式.美国统计协会杂志,58(301):13-301963.ISSN 0162-1459.doi:·中银0127.10602
[36] Brody Huval,Tao Wang,Sameep Tandon,Jeff Kiske,Will Song,Joel Pazhayampallil,Mykhaylo Andriluka,Pranav Rajpurkar,Toki Migimatsu,Royce Cheng Yue等。公路驾驶深度学习的实证评估。arXiv:1504.017162015。
[37] Jean-Claude Junqua和Jean-Paul Haton,《自动语音识别的稳健性:基础和应用》,第341卷。斯普林格科学与商业媒体,2012年。
[38] 生态推理问题的解决方案:从集合数据重建个体行为。普林斯顿大学出版社,2013年。
[39] Diederik P Kingma和Jimmy Ba.Adam:随机优化方法。arXiv:1412.69802014年。
[40] 贝诺伊特·克劳克纳。有限支持测度的逼近.ESAIM:控制,优化和变分演算,18(2):343-3592012·Zbl 1246.49040
[41] Daniel Kuhn、Peyman Mohajerin Esfahani、Vietan Anh Nguyen和Soroosh ShafieezadehAbadeh。Wasserstein分布鲁棒优化:理论与在机器学习中的应用。《分析时代的运营研究与管理科学》,130-166页。通知,2019年。
[42] 亚历山德马德里、马克洛夫、施密特、齐普拉斯和弗拉杜。《走向深度学习模型抵御对抗性攻击》,arXiv:1706.06083,2017年。
[43] 宫崎骏、前田信一、小山正男、中尾健二和石井真一。分布式平滑与虚拟对抗训练。arXiv:1507.006772015。
[44] 阿米尔纳杰菲、前田信一、小山正三和宫崎骏。从不完全数据中学习时对对手干扰的鲁棒性。神经信息中的无意识
[45] 洪塞南孔和约翰C杜奇。具有f-发散分布鲁棒优化问题的随机梯度法。神经信息处理系统指南,第2208-2216页,2016年。
[46] 《大众运输问题:第一卷:理论》,第一卷。斯普林格科学与商业媒体,1998年·Zbl 0990.60500
[47] 阿迪蒂·拉古纳坦、雅各布·斯坦哈特和珀西·S·梁。证明对抗性例子鲁棒性的半定松弛。神经信息处理系统指南,第10877-10887页,2018年。
[48] 伯尔和解了,马克·克雷文和索米娅·雷。多实例主动学习。神经信息处理系统导论,1289-12962008页。
[49] 索鲁什·沙菲耶扎德·阿巴德、丹尼尔·库恩和佩曼·莫哈杰林·伊斯法哈尼。通过大规模运输进行正规化。机器学习研究杂志,20(103):1-682019年·兹布1434.68450
[50] 加甘迪普·辛格、蒂蒙·盖尔、马修·米尔曼、马库斯·普舍尔和马丁·维切夫。快速有效的稳健性认证。神经信息处理系统指南,第10802-10813页,2018年。
[51] 阿曼·辛哈、洪赛克·南孔和约翰·杜奇。通过原则性的对抗性训练证明了一些分布式鲁棒性。国际学术会议·Zbl 07064048号
[52] 克里斯蒂安·塞格迪、沃伊切赫·扎伦巴、伊利亚·萨茨克弗、琼·布鲁纳、杜米特鲁·厄汉、伊恩·古德费罗和罗布·弗格斯。神经网络的有趣特性。arXiv:1312.61992013。
[53] C、 最佳运输理论专题。美国数学学会,2003年·Zbl 1106.90001
[54] Wolfram Wiesemann,Daniel Kuhn和Melvyn Sim。分布式鲁棒凸优化.运筹学,62(6):1358-13762014·Zbl 1327.90158
[55] 杨亚洲和马科龙。《逻辑回归主动学习的基准和比较》。模式识别,83:401-4152018。
[56] 袁晓勇,潘和,朱其乐,李晓琳。对抗性示例:深度学习的攻击与防御。IEEE神经网络与学习系统汇刊,2019年。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。