×

数学ZBZ-数学第一资源

为了降低查询复杂度,对零阶梯度算法进行黑盒缩减。(英语) Zbl 0741513
摘要:零阶(ZO)优化一直是各种机器学习应用的关键技术,特别是对于需要以无梯度方式学习模型的黑盒对抗攻击。尽管已有许多ZO算法被提出,但高复杂度的函数查询严重阻碍了它们的应用。针对这一难题,我们分别在凸和非凸环境下提出了ZO算法的两阶段黑盒约简框架,降低了ZO算法的函数查询复杂度。此外,只要给出强凸环境下的收敛结果,我们的框架就可以直接导出ZO算法在凸和非凸环境下的收敛结果,而不需要额外的分析。为了说明这些优点,我们进一步研究了强凸环境下的ZO-SVRG、ZO-SAGA和ZO-Varag,并利用我们的框架直接推导出凸和非凸环境下的收敛结果。这些算法的功能查询复杂度低于没有框架的算法,甚至低于最新的算法。最后通过数值实验来说明我们的框架的优越性。
理学硕士:
68T05型 人工智能中的学习与自适应系统
软件:
传奇;LIBSVM库
PDF格式 BibTeX公司 XML 引用
全文: 链接
参考文献:
[1] 阿列克·阿加瓦尔、奥菲尔·德克尔和林晓。具有多点bandit反馈的在线凸优化算法。InCOLT,第28-40页。Citeseer,2010年。
[2] 泽远艾伦朱和埃拉德哈桑。优化目标之间的最优黑盒缩减。神经信息处理系统指南,第1614-1622页,2016年。
[三] 张志忠,林志仁。支持向量机资料库。ACM智能系统与技术交易(TIST),2(3):1-27,2011年。
[4] 陈宇文,安东尼奥·奥维托和奥瑞莲·卢奇。有限和凸函数的一种加速dfo算法。国际机器学习会议,1681-1690页。PMLR,2020年。
[5] 陈泽怡、朱媛、易金凤、周博文、陈恩红、杨天宝。具有平均解收敛性的非凸问题的泛阶段学习。arXiv预印本arXiv:1808.062962018年。
[6] 陈泽怡,徐奕,胡浩媛,杨天宝。katalist:对具有大条件数的非凸问题的Boosting凸katayusha。国际机器学习会议,1102-1111页。2019年PMLR。
[7] 克鲁兹托夫·乔罗曼斯基、马克·罗兰、维卡斯·辛德瓦尼、理查德·E·特纳和阿德里安·韦勒。结构化演化与紧凑的体系结构,用于可伸缩的策略优化。arXiv预印本arXiv:1804.0239512018年。
[8] 布莱恩·康罗伊和保罗·萨伊达。l2正则logistic回归的快速、精确的模型选择和置换检验。《自然情报与统计》,第246-254页,2012年。
[9] 亚伦·德法齐奥,弗朗西斯·巴赫,西蒙·拉科斯特·朱利安。Saga:一种支持非强凸复合目标的快速增量梯度法。arXiv预印本arXiv:1407.0202014年。
[10] 约翰·C·杜奇、迈克尔一世·乔丹、马丁·J·温赖特和安德烈·维比索诺。零阶凸优化的最优速率:两个函数求值的能力。IEEE信息理论汇刊,61(5):2788-28062015。
[11] 丛芳,李俊奇,林周晨,张彤。凸凸路径优化:基于最优随机蜘蛛的最优路径估计。神经信息处理系统指南,第689-699页,2018年。
[12] 亚伯拉罕·D·弗拉克斯曼、亚当·陶曼·卡莱、亚当·陶曼·卡莱和H·布伦丹·麦克马汉。bandit环境下的在线凸优化:无梯度的梯度下降。第十六届ACM-SIAM离散算法年会论文集,第385-394页。工业与应用数学学会,2005年。
[13] Roy Frostig,Rong Ge,Sham M Kakade和Aaron Sidford。与经验风险最小化者在一次通过竞争。学习理论不一致,728-763页。PMLR,2015年。
[14] 高翔,姜波,张树忠。关于admm的信息适应性变体:迭代复杂性的观点。科学计算杂志,76(1):327-3632018年。
[15] 赛义德·加迪米和兰广辉。非凸随机规划的随机一阶和零阶方法。暹罗优化杂志,23(4):2341-23682013。
[16] 顾斌、霍周媛、邓成登、黄恒煌。共享内存机器的快速无导数随机算法。国际机器学习会议,1812-18212018a页。
[17] 顾斌、霍周元、黄恒煌。异步双随机群正则化学习。国际人工智能与统计会议,1791-1800页。PMLR,2018年b。
[18] 顾斌、冼文汉、黄恒煌。非凸优化的异步随机frank-wolfe算法。第28届国际人工智能联席会议(IJCAI 2019),2019年。
[19] 顾斌、党志远、李向利、黄恒煌。垂直分区数据的联合双随机核学习。第26届ACM-SIGKDD国际知识发现与数据挖掘会议论文集,第2483-24932020a页。
[20] 顾斌、冼文汉、霍周元、邓承登、黄恒煌。一个用于异步随机优化的统一QMemodelization框架。机器学习研究杂志,21(190):1-532020b。
[21] 奥斯曼·古勒。凸极小化的新近点算法。暹罗优化杂志,2(4):649-6641992。
[22] 黄飞虎、顾斌、霍周元、陈松灿、黄恒恒。非凸非光滑优化的快速无梯度近似随机方法。美国人工智能学会人工智能会议论文集,第33卷,第1503-1510页,2019年。
[23] 吉凯怡,王哲,周怡,梁颖斌。改进的零阶方差降维算法及非凸优化分析。arXiv预印本arXiv:1910.121662019年。
[24] Rie Johnson和Tong Zhang。利用预测方差缩减加速随机梯度下降。神经信息处理系统,第315-323页,2013年。
[25] 亚历克赛·库拉金、伊恩·古德费罗和萨米·本吉奥。大规模的对抗性机器学习。arXiv预印本arXiv:1611.01236,2016年。
[26] 兰广辉,李志泽,周怡。求解凸优化问题的统一方差缩减加速梯度法。arXiv预印本arXiv:1905.12412,2019年。
[27] 莲香茹,张欢,赵觉希,黄宜君,刘骥。从零阶到一阶异步随机并行优化的综合线性加速分析。神经信息处理系统指南,3054-3062页,2016年。
[28] 林洪洲,朱利安·迈拉尔,扎伊德·哈朝贵。一阶凸优化的催化剂加速:从理论到实践。机器学习研究杂志,18(1):7854-79072018。
[29] 刘思佳,卡胡拉,陈品玉,婷婷,张世玉,阿敏妮。非凸优化的零阶随机方差缩减。arXiv预印本arXiv:1805.103672018年。
[30] 阿列克斯曼德,阿列克斯曼德和马德丽夫拉斯米尔阿莱克斯米拉斯梅克斯米拉斯米尔德拉斯米尔德拉德斯米拉斯米尔亚列克斯米尔亚列克斯曼德。对对抗性攻击的深度学习模型。arXiv预印本arXiv:1706.06083,2017年。
[31] 阿卡迪·尼米洛夫斯基、阿纳托利·朱迪斯基、兰广辉和亚历山大·夏皮罗。随机规划的鲁棒随机逼近方法。暹罗优化杂志,19(4):1574-16092009。
[32] 尤里·内斯特罗夫和弗拉基米尔·斯波科尼。凸函数的随机无梯度极小化。计算数学基础,17(2):527-5662017。
[33] 尼古拉斯·帕普诺特、帕特里克·麦克丹尼尔、伊恩·古德费罗、萨梅什·贾哈、Z·伯克凯·塞利克和阿南特拉姆·斯瓦米。针对机器学习的实际黑盒攻击。《2017年亚洲计算机与通信安全会议》第506-519页。ACM,2017年。
[34] R Tyrrell Rockafellar公司。最近点算子与单调算法。暹罗控制与优化杂志,14(5):877-8981976。
[35] 夏申,穆杜德·阿拉姆,弗雷迪·菲克斯和拉尔斯·朗格·亚德。一种新的用于数量遗传学的广义岭回归方法。遗传学,193(4):1255-12682013。
[36] 约翰·阿克苏肯斯和乔斯·范德维尔。最小二乘支持向量机分类器。神经处理信件,9(3):293-3001999。
[37] 屠春臣、白顺亭、陈品玉、刘思佳、张欢、易金凤、赵觉希、申明成。Autozoom:基于自动编码器的攻击黑盒神经网络的零阶优化方法。美国人工智能学会人工智能会议论文集,第33卷,第742-749页,2019年。
[38] 张青松、顾斌、邓成龙、黄恒煌。具有后向更新的安全双层异步垂直联合学习。美国人工智能学会人工智能会议论文集,第35卷,第10896-109042021页。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。