雅利安莫赫塔里;哈米德·哈萨尼;阿明·卡巴西 随机条件梯度法：从凸极小化到子模极大化。 （英语） Zbl 1507.68249号 J.马赫。学习。物件。 21，第105号论文，49页（2020年）. 摘要：本文考虑了一大类目标函数的随机优化问题，包括凸子模和连续子模。随机近邻梯度法已被广泛用于解决此类问题；然而，当问题维数较大且凸集上的投影计算量较大时，它们的适用性仍然有限。相反，提出了随机条件梯度算法作为一种替代解决方案，它依赖于（i）通过简单的平均技术近似梯度，每次迭代都需要进行一次随机梯度评估；（ii）求解线性程序以计算下降/上升方向。梯度平均技术随着时间的推移减少了梯度近似的噪声，并且用线性程序替换近似方法中的投影步长降低了每次迭代的计算复杂性。我们证明了在凸性和光滑性假设下，我们提出的随机条件梯度法以次线性率（mathcal{O}（1/t^{1/3}））收敛到最优目标函数值。此外，对于单调连续的DR-次模函数，在一般凸体约束下，我们证明了我们提出的方法通过（mathcal{O}{（1/epsilon^3）}）随机梯度计算实现了（（（1-1/e）text{OPT}-\epsilon）保证（期望）。这种保证与已知的硬度结果相匹配，并缩小了确定性和随机连续子模块最大化之间的差距。此外，在目标函数是连续的DR-次模但非单调且约束集是下闭凸体的情况下，我们在（mathcal{O}{（1/\epsilon^3）}）随机梯度上操作后，实现了（（（1/e）\text{OPT}-\epsi隆）的保证。通过使用随机连续优化作为接口，我们还提供了在一般拟阵约束下最大化单调随机子模集函数的第一（1-1/e）紧逼近保证和非单调情形的（1/e）逼近保证。 引用于9文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 68周25 近似算法 90立方厘米 随机规划 90C25型 凸面编程 关键词：随机优化;条件梯度法;凸极小化;子模最大化;梯度平均;Frank-Wolfe算法;贪婪算法 PDF格式BibTeX公司 XML格式引用 \textit{A.Mokhtari}等人，J.Mach。学习。第21号决议，第105号论文，49页（2020年；Zbl 1507.68249） 全文： arXiv公司 链接 参考文献： [1] 弗朗西斯·巴赫。子模块函数：从离散域到连续域。arXiv预打印arXiv:1511.003942015。 [2] Dimitri P.Bertsekas和John N.Tsitsiklis。神经动力学编程，优化和神经计算系列第3卷。雅典娜科学，1996年·兹伯利0924.68163 [3] Andrew An Bian、Kfir Yehuda Levy、Andreas Krause和Joachim M.Buhmann。非单调连续dr子模最大化：结构和算法。神经信息处理系统进展30：2017年12月4日至9日在美国加利福尼亚州长滩举行的神经信息处理体系年度会议，第486-4962017a页。 [4] Andrew An Bian、Baharan Mirzasoleiman、Joachim M.Buhmann和Andreas Krause。保证非凸优化：连续域上的子模最大化。《第20届国际人工智能与统计会议论文集》，AISTATS 2017，2017年4月20日至22日，美国佛罗里达州劳德代尔堡，第111-120页，2017b。 [5] 杰弗里·比尔姆斯和文若·白。深度子模块功能。arXiv预打印arXiv:1701.089392017。 [6] 莱昂博图。具有随机梯度下降的大规模机器学习。2010年COMPSTAT会议记录，第177-186页。施普林格，2010年·Zbl 1436.68293号 [7] Niv Buchbinder和Moran Feldman。通过非对称技术实现约束子模最大化。arXiv预印本arXiv:1611.032532016。 [8] 尼夫·巴赫宾德、莫兰·费尔德曼、约瑟夫·纳尔和罗伊·施瓦茨。具有基数约束的子模块最大化。InSODA，第1433-1452页，2014年·Zbl 1423.90212号 [9] 尼夫·巴赫宾德、莫兰·费尔德曼、约瑟夫·纳尔和罗伊·施瓦茨。无约束子模最大化的紧线性时间（1/2）近似。SIAM计算机杂志，44（5）：1384-14022015·Zbl 1330.68346号 [10] Gruia Calinescu、Chandra Chekuri、Martin P´al和Jan Vondr´ak。拟阵约束下单调子模函数的最大化。SIAM计算机杂志，40（6）：1740-17662011·Zbl 1234.68459号 [11] C.Chekuri、T.S.Jayram和J.Vondrak。凹函数和子模函数最大化的乘法权重更新。《2015年理论计算机科学创新会议论文集》，第201-210页。ACM，2015年·Zbl 1365.90225号 [12] Chandra Chekuri、Jan Vondr´ak和Rico Zenklusen。通过多重线性松弛和竞争解决方案实现子模块函数最大化。SIAM计算机杂志，43（6）：1831-18792014·Zbl 1437.90135号 [13] Michael Collins、Amir Globerson、Terry Koo、Xavier Carreras和Peter L Bartlett。条件随机场和最大边际马尔可夫网络的指数梯度算法。机器学习研究杂志，9（8月）：1775-18222008·Zbl 1225.68167号 [14] Nikhil R.Devanur和Kamal Jain。在线匹配凹面回报。2012年5月19日至22日，美国纽约州纽约市STOC 2012第44届计算理论研讨会论文集，第137-144页·兹比尔1286.68510 [15] 雷扎·埃格巴利（Reza Eghbali）和玛丽亚姆·法泽尔（Maryam Fazel）。设计平滑函数以提高在线优化中的最坏情况竞争比。《神经信息处理系统研究进展29：2016年神经信息处理体系年度会议》，2016年12月5日至10日，西班牙巴塞罗那，第3279-3287页，2016年。 [16] Alina Ene和Huy L.Nguyen。约束子模块最大化：超越1/e。在IEEE第57届计算机科学基础年度研讨会上，2016年10月9日至11日，美国新泽西州新不伦瑞克凯悦酒店，2016年，第248-257页。 [17] 乌列尔·菲戈。近似集合覆盖的ln n阈值。美国医学会杂志（JACM），45（4）：634-6521998·Zbl 1065.68573号 [18] 乌列尔·菲奇（Uriel Feige）、瓦哈布·S·米罗克尼（Vahab S Mirrorkni）和扬·冯德拉克（Jan Vondrak）。最大化非单调子模函数。SIAM计算机杂志，40（4）：1133-11532011·Zbl 1230.90198号 [19] 莫兰·费尔德曼（Moran Feldman）、约瑟夫·纳尔（Joseph Naor）和罗伊·施瓦茨（Roy Schwartz）。子模块最大化的统一连续贪婪算法。2011年10月22日至25日，美国加利福尼亚州棕榈泉市，2011年FOCS，IEEE第52届计算机科学基础年度研讨会，第570-579页·Zbl 1292.90248号 [20] 莫兰·费尔德曼（Moran Feldman）、克里斯托弗·哈肖（Christopher Harshaw）和阿明·卡巴西（Amin Karbasi）。贪婪是好的：通过贪婪优化实现近最优子模块最大化。2017年7月7日至10日，荷兰阿姆斯特丹COLT 2017第30届学习理论会议记录，第758-784页。 [21] 玛格丽特·弗兰克和菲利普·沃尔夫。二次规划的一种算法。海军研究后勤（NRL），3（1-2）：95-1101956。 [22] 佐托鲁·富士基（Satoru Fujishige）。子模块功能与优化，第58卷。Elsevier，2005年·Zbl 1119.90044号 [23] Satoru Fujishige和Shigueo Istani。基于最小范数基的子模函数最小化算法。太平洋优化杂志，7（1）：3-172011·Zbl 1208.65086号 [24] Shayan Oveis Gharan和Jan Vondr´ak。通过模拟退火实现子模最大化。第二十二届ACM-SIAM离散算法年会论文集，第1098-1116页。SIAM，2011年·Zbl 1377.90073号 [25] 丹尼尔·戈洛文、安德烈亚斯·克劳斯和马修·斯特里特。拟阵约束下的在线子模最大化及其在学习任务中的应用。arXiv预印本arXiv:1407.10822014。 [26] 哈米德·哈萨尼（Hamed Hassani）、马赫迪·索塔诺尔科塔比（Mahdi Soltanolkotabi）和阿明·卡巴西（Amin Karbasi）。亚模最大化的梯度方法。arXiv预印本arXiv:1708.039492017。 [27] 西蒙·海金。自适应滤波理论。印度培生教育，2008年。 [28] Elad Hazan和Satyen Kale。无投影在线学习。2012年6月26日至7月1日在英国苏格兰爱丁堡举行的第29届机器学习国际会议记录，第1843-1850页。 [29] Elad Hazan和Haipeng Luo。方差减少和无投影随机优化。2016年6月19日至24日，在美国纽约州纽约市举行的第三十三届国际机器学习会议记录中，第1263-1271页。 [30] Elad Hazan等人。在线凸优化简介。优化中的基础与趋势，2（3-4）：157-3252016。 [31] 马丁·贾吉。重温Frank-Wolfe：无投影稀疏凸优化。2013年6月16日至21日在美国佐治亚州亚特兰大举行的第30届国际机器学习会议记录，第427-435页。 [32] 穆罕默德·卡里米（Mohammad Karimi）、马里奥·卢西奇（Mario Lucic）、哈米德·哈萨尼（Hamed Hassani）和安德烈亚斯·克劳斯（Andreas Krause）。随机子模块最大化：覆盖函数的情况。神经信息处理系统研究进展，2017年。 [33] L´aszl´o Lov´asz。子模函数与凸性。《数学编程——最新技术》，第235-257页。斯普林格，1983年·Zbl 0566.90060号 [34] Aranyak Mehta、Amin Saberi、Umesh V.Vazirani和Vijay V.Vazrani。广告词和广义在线匹配。ACM杂志，54（5），2007年·Zbl 1312.68239号 [35] 巴哈兰·米尔扎索利曼（Baharan Mirzasoleiman）、阿什文库马尔·巴达尼迪尤鲁（Ashwinkumar Badanidiyuru）和阿明·卡巴西（Amin Karbasi）。快速约束子模块最大化：个性化数据汇总。2016年6月19日至24日，在美国纽约州纽约市举行的第三十三届国际机器学习会议记录中，第1358-1367页。 [36] 雅利安·莫赫塔里和亚历杭德罗·里贝罗。在线有限内存BFGS的全局收敛性。机器学习研究杂志，16（1）：3151-31812015·Zbl 1351.90124号 [37] 雅利安·莫赫塔里（Aryan Mokhtari）、亚历克·科佩尔（Alec Koppel）、格苏尔多·斯库塔里（Gesualdo Scutari）和亚历杭德罗·里贝罗（Alejandro Ribeiro）。基于双随机逐次凸逼近的大规模非凸随机优化。《声学、语音和信号处理（ICASSP）》，2017 IEEE国际会议，第4701-4705页。IEEE，2017年。 [38] G.L.Nemhauser和L.A.Wolsey。最大化子模块集函数：算法的公式和分析。《图与离散编程研究》，《离散数学年鉴》1981年第11卷。 [39] George L Nemhauser、Laurence A Wolsey和Marshall L Fisher。最大化子模集函数的近似分析——I.数学规划，14（1）：265-2941978·Zbl 0374.90045号 [40] 阿卡迪·内米洛夫斯基（Arkadi Nemirovski）和D Yudin。关于凸凹函数鞍点逼近的最速下降法的Cezari收敛性。苏联数学。Dokl，第19卷，1978年·Zbl 0413.90061号 [41] 阿卡迪·内米洛夫斯基（Arkadii Nemirovskii）、大卫·鲍里索维奇·尤丁（David Borisovich Yudin）和埃德加·罗纳德·道森（Edgar Ronald Dawson）。优化中的问题复杂性和方法效率。1983. ·Zbl 0501.90062号 [42] S.J.Reddi、S.Sra、B.Poczos和A.Smola。非凸优化的随机frank-wolfe方法。arXiv预印本arXiv:1607.082542016。 [43] 亚历杭德罗·里贝罗。无线通信和网络的遍历随机优化算法。IEEE信号处理汇刊，58（12）：6369-63862010·Zbl 1392.94424号 [44] 赫伯特·罗宾斯和萨顿·蒙罗。一种随机近似方法。《数理统计年鉴》，第400-407页，1951年·Zbl 0054.05901号 [45] 安德烈·鲁兹奇·恩斯基（Andrzej Ruszczy´nski）。随机规划问题的可行方向方法。数学规划，19（1）：220-2291980·Zbl 0442.90075号 [46] 安德烈·鲁兹奇·恩斯基（Andrzej Ruszczy´nski）。次梯度平均法的价值函数方法。优化方法和软件，23（1）：161-172008·Zbl 1146.90050号 [47] 亚历山大·夏皮罗（Alexander Shapiro）、达林卡·登切娃（Darinka Dentcheva）和安德烈·鲁什奇·恩斯基（Andrzej Ruszczy´nski）。随机规划讲座：建模和理论。SIAM，2009年·邮编：1183.90005 [48] 维克多·索洛和玄空。自适应信号处理算法：稳定性和性能。Prentice-Hall公司，1994年。 [49] Tasuku Soma、Naonori Kakimura、Kazuhiro Inaba和Ken-ichi Kawarabayashi。最优预算分配：理论保证和高效算法。《第31届国际机器学习大会论文集》，2014年国际机器学习大会，2014年6月21日至26日，中国北京，第351-3592014页。 [50] Matthew Staib和Stefanie Jegelka。通过连续子模块功能进行稳健的预算分配。2017年8月6日至11日，澳大利亚新南威尔士州悉尼，第34届机器学习国际会议论文集，2017年ICML，3230-3240页。 [51] 塞尔维亚人斯坦（Stan）、莫特扎·扎迪莫格哈达姆（Morteza Zadimoghaddam）、安德烈亚斯·克劳斯（Andreas Krause）和阿明·卡巴西（Amin Karbasi）。次线性时间内的概率子模最大化。2017年8月6日至11日，在澳大利亚新南威尔士州悉尼举行的第34届国际机器学习会议记录中，第3241-3250页，2017年。 [52] 马克西姆·斯维里登科、扬·冯德拉克和贾斯汀·沃德。曲率有界的子模和超模优化的最佳逼近。2015年1月4日至6日，美国加利福尼亚州圣地亚哥，2015年SODA，第二十六届ACM-SIAM离散算法年会论文集，第1134-1148页·Zbl 1371.90143号 [53] 弗拉基米尔·瓦普尼克。统计学习理论的本质。施普林格科学与商业媒体，2013年。 [54] 简·冯德拉克。组合优化中的子模块。2007 [55] 简·冯德拉克。价值预言模型中子模福利问题的最优逼近。2008年5月17日至20日，加拿大不列颠哥伦比亚省维多利亚市，第40届ACM计算机理论年会论文集，第67-74页·Zbl 1231.91094号 [56] 简·冯德拉克。子模块和曲率：最佳算法（组合优化和离散算法）。RIMS Kokyuroku Bessatsu，B23:253-2662010年·Zbl 1219.68109号 [57] 劳伦斯·A·沃尔西。子模集覆盖问题的贪婪算法分析。组合数学，2（4）：385-3931982·Zbl 0508.68021号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。