×

流形上具有立方的自适应正则化。 (英语) Zbl 1470.90087号

摘要:立方自适应正则化(ARC)是一种用于无约束、非凸优化的算法。与信任区域方法类似,它的迭代可以看作是近似的、安全的牛顿步长。对于具有Lipschitz连续Hessian的代价函数,ARC具有最优的迭代复杂度,因为它在(O(1/varepsilon^{1.5})迭代中产生的梯度小于(varepsilen)的迭代。对于相同的价格,它还可以保证最小特征值大于\(-\sqrt{\varepsilon}\)的Hessian。本文研究了ARC在黎曼流形优化中的推广。特别地,我们将迭代复杂性结果推广到这个更丰富的框架。我们的主要贡献在于确定适当的流形特定假设,使我们能够在使用指数映射和使用一般收缩时确保这些复杂性保证。本文的很大一部分致力于研究这些假设(与ARC无关),并为其提供用户友好的充分条件。数值实验令人鼓舞。

MSC公司:

90C26型 非凸规划,全局优化
53Z99型 微分几何在科学和工程中的应用
90元53 拟Newton型方法
65千5 数值数学规划方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 绝对值,P-A;Malick,J.,矩阵流形上的类投影收缩,SIAM J.Optim。,22, 1, 135-158 (2012) ·兹比尔1248.49055 ·数字对象标识代码:10.1137/100802529
[2] 绝对值,P-A;贝克,CG;Gallivan,KA,黎曼流形上的信赖域方法,发现。计算。数学。,7, 3, 303-330 (2007) ·Zbl 1129.65045号 ·doi:10.1007/s10208-005-0179-9
[3] 绝对值,P-A;Mahony,R。;Sepulchre,R.,矩阵流形上的优化算法(2008),普林斯顿:普林斯顿大学出版社,普林斯顿·Zbl 1147.65043号 ·数字对象标识代码:10.1515/9781400830244
[4] 阿德勒,R。;德迪厄,J。;Margulies,J。;Martens,M。;Shub,M.,关于黎曼流形和人类脊椎几何模型的牛顿方法,IMA J.Numer。分析。,22, 3, 359-390 (2002) ·Zbl 1056.92002号 ·doi:10.1093/imanum/22.3.359
[5] Agarwal,N.,Allen-Zhu,Z.,Bullins,B.,Hazan,E.,Ma,T.:寻找近似局部极小值比梯度下降更快。摘自:第49届ACM SIGACT计算机理论年会论文集,第1195-1199页。ACM(2017)·Zbl 1369.68290号
[6] Bento,G。;费雷拉,O。;Melo,J.,黎曼流形上梯度、次梯度和近点方法的迭代复杂性,J.Optim。理论应用。,173, 2, 548-562 (2017) ·Zbl 1400.90277号 ·doi:10.1007/s10957-017-1093-4
[7] Bergé,C.,《拓扑空间:包括多值函数的处理、向量空间和凸性》(1963),爱丁堡:Oliver and Boyd Ltd.,爱丁伯格·Zbl 0114.38602号
[8] Bhatia,R.,《正定矩阵》(2007),普林斯顿:普林斯顿大学出版社,普林斯顿·Zbl 1133.15017号
[9] 伯金,E。;Gardenghi,J。;马丁内斯,J。;桑托斯,S。;Toint,P.,使用高阶正则化模型进行无约束非线性优化的最坏情况评估复杂性,数学。程序。,163, 1, 359-368 (2017) ·兹比尔1365.90236 ·doi:10.1007/s10107-016-1065-8
[10] Bishop,R。;克里滕登,R.,《歧管几何》(1964),剑桥:学术出版社,剑桥·Zbl 0132.16003号
[11] Bonnabel,S.,黎曼流形上的随机梯度下降,IEEE Trans。自动化。对照,58,92217-2229(2013)·Zbl 1369.90110号 ·doi:10.1109/TAC.2013.2254619
[12] Boumal,N.:光滑流形优化简介(编制中)(2020年)·Zbl 1468.65072号
[13] Boumal,N.,Absil,P.-A.:RTRMC:低秩矩阵补全的黎曼信赖域方法。摘自:Shawe-Taylor,J.、Zemel,R.、Bartlett,P.、Pereira,F.、Weinberger,K.(编辑)《神经信息处理系统进展24》(NIPS),第406-414页(2011)
[14] Boumal,N.,Singer,A.,Absil,P.-A.:根据最大似然相对测量值对旋转进行稳健估计。参见:IEEE第52届决策与控制年会(CDC),第1156-1161页(2013年)。doi:10.1109/CDC.2013.6760038
[15] Boumal,N。;米什拉,B。;绝对值,P-A;Sepulchre,R.,Manopt,用于流形优化的Matlab工具箱,J.Mach。学习。第15号决议,1455-1459(2014年)·Zbl 1319.90003号
[16] Boumal,N。;绝对值,P-A;Cartis,C.,流形上非凸优化的全局收敛速度,IMA J.Numer。分析。(2018) ·Zbl 1483.65092号 ·doi:10.1093/imanum/drx080
[17] Boumal,N。;沃罗宁斯基,V。;Bandeira,A.,光滑半定规划Burr-Monteiro分解的确定性保证,Commun。纯应用程序。数学。,73, 3, 581-608 (2019) ·Zbl 1445.90074号 ·doi:10.1002/cpa.21830
[18] Burer,S。;Monteiro,R.,低秩半定规划中的局部极小与收敛,数学。程序。,103, 3, 427-444 (2005) ·Zbl 1099.90040号 ·doi:10.1007/s10107-004-0564-1
[19] 卡蒙,Y。;Duchi,J.,梯度下降发现立方正则非凸牛顿步,SIAM J.Optim。,29, 3, 2146-2178 (2019) ·兹比尔1461.65135 ·doi:10.1137/17M1113898
[20] 卡蒙,Y。;杜奇,JC;Bengio,S。;瓦拉赫,H。;拉罗谢尔,H。;格劳曼,K。;塞萨·比安奇,N。;Garnett,R.,正则非凸二次型问题的Krylov子空间解分析,神经信息处理系统进展,10728-10738(2018),纽约:Curran Associates Inc.,纽约
[21] 卡蒙,Y。;杜奇,J。;Hinder,O。;Sidford,AL,寻找驻点的下限I,数学。程序。(2019) ·Zbl 1451.90128号 ·doi:10.1007/s10107-019-01406-y
[22] Cartis,C。;古尔德,N。;Toint,P.,无约束优化的自适应立方正则化方法。第二部分:最坏情况下函数和导数求值复杂性,数学。程序。,130, 295-319 (2011) ·Zbl 1229.90193号 ·doi:10.1007/s10107-009-0337-y
[23] Cartis,C。;古尔德,N。;Toint,P.,无约束优化的自适应立方正则化方法。第一部分:动机、收敛性和数值结果,数学。程序。,127, 2, 245-295 (2011) ·Zbl 1229.90192号 ·doi:10.1007/s10107-009-0286-5
[24] Cartis,C。;古尔德,N。;Toint,P.,无约束优化中二阶最优性的复杂性边界,J.Complex。,28, 1, 93-108 (2012) ·Zbl 1245.65063号 ·doi:10.1016/j.jco.2011.06.001
[25] Cartis,C.,Gould,N.,Toint,P.:使用高阶正则化模型改进无约束非线性优化的二阶评估复杂性。arXiv预印arXiv:1708.04044(2017)·Zbl 1439.90056号
[26] Cartis,C.,Gould,N.,Toint,P.L.:非凸光滑优化二阶方法的最坏情况评估复杂性和最优性。摘自:ICM会议记录(ICM 2018),第3711-3750页(2019)·Zbl 1451.90177号
[27] Criscitello,C。;Boumal,N。;瓦拉赫,H。;拉罗谢尔,H。;Beygelzimer,A。;德阿尔切布,F。;福克斯,E。;Garnett,R.,《有效逃逸流形上的鞍点》,神经信息处理系统进展,5985-5995(2019),纽约:Curran Associates Inc,纽约
[28] do Carmo,M.:黎曼几何。数学:理论与应用。Birkhäuser Boston Inc.,波士顿(1992年)。ISBN:0-8176-3490-8(由弗朗西斯·弗拉赫蒂(Francis Flaherty)翻译自葡萄牙语第二版)·兹比尔0752.53001
[29] Dussault,J-P,ARCq:一种新的立方体自适应正则化,Optim。方法软件。,33, 2, 322-335 (2018) ·兹比尔1397.90356 ·doi:10.1080/10556788.2017.1322080
[30] Edelman,A。;阿里亚斯,T。;Smith,S.,具有正交性约束的算法几何,SIAM J.矩阵分析。申请。,20, 2, 303-353 (1998) ·Zbl 0928.6500号 ·doi:10.1137/S089547989529290954
[31] 费雷拉,O。;Svaiter,B.,关于黎曼流形中牛顿方法的Kantorovich定理,J.Complex。,18, 1, 304-329 (2002) ·Zbl 1003.65057号 ·doi:10.1006/jcom.2001.0582
[32] Gabay,D.,最小化微分流形上的可微函数,J.Optim。理论应用。,37, 2, 177-219 (1982) ·Zbl 0458.90060号 ·doi:10.1007/BF00934767
[33] 古尔德,N。;Simoncini,V.,最小化正则二次子问题迭代算法的误差估计,Optim。方法软件。(2019) ·Zbl 1428.90160号 ·网址:10.1080/10556788.2019.1670177
[34] 古尔德,N。;Lucidi,S。;罗姆,M。;Toint,P.,使用Lanczos方法求解信任区域子问题,SIAM J.Optim。,9, 2, 504-525 (1999) ·Zbl 1047.90510号 ·doi:10.1137/S1052623497322735
[35] 古尔德,NIM;波塞利,M。;Toint,PL,更新自适应立方正则化算法中的正则化参数,计算。最佳方案。申请。,53, 1, 1-22 (2012) ·Zbl 1259.90134号 ·doi:10.1007/s10589-011-9446-7
[36] Griewank,A.:通过包围三次项对牛顿无约束优化方法进行修改。技术报告技术报告NA/12,剑桥大学应用数学和理论物理系(1981年)
[37] Hand,P。;Lee,C。;Voroninski,V.,ShapeFit:从损坏的两两方向精确恢复位置,Commun。纯应用程序。数学。,71, 1, 3-50 (2018) ·Zbl 1423.68525号 ·doi:10.1002/cpa.21727
[38] 胡,J。;Milzarek,A。;温,Z。;Yuan,Y.,黎曼优化的自适应二次正则化牛顿法,SIAM J.矩阵分析。申请。,39, 3, 1181-1207 (2018) ·Zbl 1415.65139号 ·doi:10.1137/17M1142478
[39] Jin,C.,Netrapali,P.,Ge,R.,Kakade,S.,Jordan,M.:随机梯度下降有效地逃离鞍点。arXiv:1902.04811(2019)
[40] Journée,M。;巴赫,F。;绝对值,P-A;Sepulchre,R.,半正定矩阵锥上的低秩优化,SIAM J.Optim。,20, 5, 2327-2351 (2010) ·兹比尔1215.65108 ·doi:10.1137/080731359
[41] Kohler,J.,Lucchi,A.:非凸优化的子采样立方正则化。摘自:《第34届国际机器学习会议记录》,ICML’17,第70卷,第1895-1904页。JMLR.org(2017)
[42] Lee,J.,《黎曼流形简介》(2018),柏林:施普林格出版社,柏林·Zbl 1409.53001号 ·数字对象标识代码:10.1007/978-3-319-91755-9
[43] Luenberger,D.,《沿测地线的梯度投影法》,马纳。科学。,18, 11, 620-631 (1972) ·Zbl 0253.90050号 ·doi:10.1287/mnsc.18.11.620
[44] 莫阿赫,M。;Batchelor,P.,《对称正定矩阵:从几何到应用和可视化》,285-298(2006),柏林:施普林格出版社,柏林·doi:10.1007/3-540-31272-2-17
[45] 内斯特罗夫,Y。;Polyak,BT,牛顿方法的立方正则化及其全局性能,数学。程序。,108, 1, 177-205 (2006) ·Zbl 1142.90500 ·doi:10.1007/s10107-006-0706-8
[46] 奥尼尔,B.,《半黎曼几何:相对论的应用》(1983),剑桥:学术出版社,剑桥·Zbl 0531.53051号
[47] Qi,C.:黎曼流形上的数值优化方法。塔拉哈西佛罗里达州立大学数学系博士论文。https://diginole.lib.fsu.edu/islandora/object/fsu:180485/datastream/PDF/view (2011)
[48] 环,W。;Wirth,B.,黎曼流形上的优化方法及其在形状空间中的应用,SIAM J.Optim。,22, 2, 596-627 (2012) ·Zbl 1250.90111号 ·数字对象标识码:10.1137/1082885X
[49] 佐藤,H。;Iwai,T.,矩阵奇异值分解的黎曼优化方法,SIAM J.Optim。,23, 1, 188-212 (2013) ·Zbl 1267.65070号 ·doi:10.1137/120872887
[50] 舒布,M。;Lara-Carrero,L。;Lewowicz,J.,《动力系统和数值分析的一些评论》,《第七届ELAM会议论文集》,69-92(1986),加拉加斯:Equinoccio,加拉卡斯西门玻利瓦尔大学
[51] Smith,S.,黎曼流形上的优化技术,Fields Inst.Commun。,3, 3, 113-135 (1994) ·Zbl 0816.49032号
[52] 孙,Y。;弗拉马利翁,N。;法泽尔,M。;瓦拉赫,H。;拉罗谢尔,H。;Beygelzimer,A。;德阿尔切布,F。;福克斯,E。;Garnett,R.,逃离黎曼流形上的鞍点,神经信息处理系统进展,7276-7286(2019),纽约:Curran Associates Inc.,纽约
[53] Trefethen,L。;Bau,D.,《数值线性代数》(1997),费城:工业和应用数学学会,费城·Zbl 0874.65013号 ·doi:10.1137/1.9780898719574
[54] Tripuraneni,N.,Flamarion,N.、Bach,F.、Jordan,M.:黎曼流形上的平均随机梯度下降。摘自:学习理论会议,第650-687页(2018年)
[55] Tripuraneni,N。;斯特恩,M。;Jin,C。;Regier,J。;乔丹,M。;Bengio,S。;瓦拉赫,H。;拉罗谢尔,H。;Grauman,K。;塞萨·比安奇,N。;Garnett,R.,《快速非凸优化的随机立方正则化》,神经信息处理系统进展,2899-2908(2018),纽约:Curran Associates Inc.,纽约
[56] Waldmann,S.:几何波动方程。arXiv预印arXiv:1208.4706(2012)
[57] Wang,Z.、Zhou,Y.、Liang,Y.和Lan,G.:非凸优化的随机方差减少三次正则化。摘自:第22届国际人工智能与统计会议,第2731-2740页(2019年)
[58] 杨伟(Yang,W.)。;张,L-H;Song,R.,黎曼流形上非线性规划问题的最优性条件,Pac。J.Optim。,10, 2, 415-434 (2014) ·Zbl 1322.90096号
[59] Zhang,H.,Sra,S.:大地凸优化的一阶方法。摘自:学习理论会议,第1617-1638页(2016)
[60] 张,H。;Reddi,S。;Sra,S。;Lee,DD;杉山,M。;卢克斯堡,UV;盖恩,I。;Garnett,R.,黎曼SVRG:黎曼流形上的快速随机优化,神经信息处理系统进展,4592-4600(2016),纽约:Curran Associates Inc.,纽约
[61] 张,J.,张,S.:黎曼流形上的三次正则化牛顿方法。arXiv预印arXiv:1805.05565(2018)
[62] 张,J.,肖,L.,张,S.:具有三次正则化的子样本牛顿法的自适应随机方差缩减。arXiv预印arXiv:1811.11637(2018)
[63] Zhou,D.,Xu,P.,Gu,Q.:随机方差减少的三次正则化牛顿方法。摘自:Dy,J.,Krause,A.(编辑)《第35届机器学习国际会议论文集》。机器学习研究论文集,第80卷,第5990-5999页,瑞典斯德哥尔摩Stockholmsmassan。PMLR。http://proceedings.mlr.press/v80/zhou18d.html (2018)
[64] Zhu,B.:使用自适应三次正则化的流形优化算法。普林斯顿大学数学系学士论文(2019年)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。