×

线性约束优化问题的Hessian障碍算法。 (英语) 兹比尔1421.90164

摘要:在本文中,我们提出了一种求解线性约束-可能非凸-优化问题的内点方法。该方法(我们称之为Hessian barrier algorithm(HBA))将Hessian-Riemannian梯度流的正向Euler离散化与Armijo回溯步长策略相结合。通过这种方式,HBA可以被视为镜像下降的替代方案,并包含仿射缩放算法、正则化牛顿过程和其他几种迭代求解方法。我们的主要结果是,在模非退化条件下,算法收敛到问题的临界集;因此,在凸情形下,算法全局收敛到问题的最小集。在线性约束二次规划(不一定是凸的)的情况下,我们还证明了对于某些只依赖于核函数的选择(即不依赖于问题的原语)的(0,1]\中的),该方法的收敛速度是(O(1/k\rho)。这些理论结果通过标准非凸测试函数和大规模交通分配问题的数值实验得到了验证。

MSC公司:

90摄氏51度 内部点方法
90立方 非线性规划
90C25型 凸面编程
90C26型 非凸规划,全局优化
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] F.Alvarez、J.Bolte和O.Brahic,凸规划中的Hessian Riemannian梯度流,SIAM J.控制优化。,43(2004),第477-501页·Zbl 1077.34050号
[2] H.Attouch、J.Bolte、P.Redont和M.Teboulle,约束优化的奇异黎曼障碍方法和梯度投影动力系统《优化》,53(2004),第435-454页·Zbl 1153.34312号
[3] H.Attouch、J.Bolte和B.F.Svaiter,半代数和驯服问题下降方法的收敛性:近似算法、前向分裂和正则高斯-赛德尔方法,数学。程序。,137(2013),第91-129页·Zbl 1260.49048号
[4] H.Attouch、X.Goudou和P.Redont,带摩擦的重球方法,I.连续动力系统:通过耗散动力系统的渐近分析对实值函数局部极小值的全局探索、Commun。康斯坦普。数学。,2(2000),第1-34页·Zbl 0983.37016号
[5] H.Attouch和J.Peypouquet,Nesterov的加速前向后退法的收敛速度实际上比(1/k^2)快、SIAM J.Optim.、。,26(2016),第1824-1834页·Zbl 1346.49048号
[6] H.Attouch和M.Teboulle,正则Lotka-Volterra动力系统作为优化中的连续近似方法,J.优化。理论应用。,121(2004),第541-570页·Zbl 1076.90053号
[7] A.Auslender、P.J.S.Silva和M.Teboulle,基于障碍距离和欧氏距离的非单调投影梯度法,计算。优化。申请。,38(2007),第305-327页,https://doi.org/10.1007/s10589-007-9025-0。 ·Zbl 1190.90129号
[8] A.Auslender和M.Teboulle,凸优化和二次曲线优化的内部梯度和近似方法、SIAM J.Optim.、。,16(2006),第697-725页,https://doi.org/10.1137/S1052623403427823。 ·Zbl 1113.90118号
[9] A.Beck和M.Teboulle,凸优化的镜像下降法和非线性投影次梯度法,操作。Res.Lett.公司。,31(2003),第167-175页·Zbl 1046.90057号
[10] A.Beck和M.Teboulle,线性反问题的快速迭代收缩阈值算法,SIAM J.成像科学。,2(2009年),第183-202页·Zbl 1175.94009号
[11] M.Bertero、P.Boccacci、G.Desidera和G.Vicidomini,基于泊松数据的图像去模糊:从细胞到星系《反问题》,25(2009),123006·Zbl 1186.85001号
[12] D.P.Bertsekas和R.Gallager,数据网络第二版,普伦蒂斯·霍尔,恩格尔伍德悬崖,新泽西州,1992年·兹比尔0734.68006
[13] J.Bolte和M.Teboulle,约束极小化问题的障碍算子及其相关的类梯度动力系统SIAM J.控制优化。,42(2003),第1266-1292页·Zbl 1051.49010号
[14] I.M.Bomze,向最大集团发展、J.Global Optim.、。,10(1997),第143-164页·Zbl 0880.90110号
[15] I.M.Bomze,单纯形上二次型最大化的全局逃逸策略、J.Global Optim.、。,11(1997),第325-338页,https://doi.org/10.1023/A:1008297330705。 ·兹比尔0904.90125
[16] I.M.Bomze,动力学、游戏和优化中的正则性与简并性:不同方面的统一方法SIAM Rev.,44(2002),第394-414页,https://doi.org/10.1137/S00361445003756。 ·Zbl 1021.91007号
[17] I.M.Bomze、W.Schachinger和R.Ullrich,简单模型的复杂性——标准二次优化问题最坏和典型困难情况的研究,数学。操作。决议,43(2017),第651-674页,https://doi.org/10.1287/moor.2017.0877。 ·Zbl 1440.90042号
[18] J.Bonnans和C.Pola,线性约束优化的信赖域内点算法、SIAM J.Optim.、。,7(1997)第717-731页,https://doi.org/10.1137/S1052623493250639。 ·Zbl 0899.90146号
[19] M.Bravo、D.S.Leslie和P.Mertikopoulos,凹N人博弈中的Bandit学习,高级神经信息处理。系统。32,Curran Associates,纽约州Red Hook,2018年,第5666-5676页。
[20] S.Bubeck,凸优化:算法和复杂性,找到。趋势马赫数。学习。,8(2015),第231-358页·兹比尔1365.90196
[21] A.Cabot、H.Engler和S.Gadat,具有渐近小耗散的二阶微分方程的长时间行为,事务处理。阿默尔。数学。Soc.,361(2009),第5983-6017页·Zbl 1191.34078号
[22] E.Candès和T.Tao,Dantzig选择器:当p远大于n时的统计估计,安.统计师。,35(2007年),第2313-2351页·Zbl 1139.62019号
[23] E.J.Candès和T.Tao,线性规划译码,IEEE传输。《信息论》,51(2005),第4203-4215页·Zbl 1264.94121号
[24] B.考克斯、A.朱迪茨基和A.内米洛夫斯基,大规模非光滑学习问题的对偶次梯度算法,数学。程序。,148(2014),第143-180页,https://doi.org/10.1007/s10107-013-0725-1。 ·Zbl 1305.65149号
[25] J.J.Duistermaat,关于赫森-黎曼结构,亚洲数学杂志。,5(2001年),第79-91页·Zbl 1021.53021号
[26] F.Facchinei和J.-S.Pang,有限维变分不等式与互补问题,第一卷,Springer Ser。操作。Res.财务。工程师,斯普林格,纽约,2003年·兹比尔1062.90002
[27] F.Facchinei和J.-S.Pang,有限维变分不等式与互补问题,第二卷,Springer Ser。操作。Res.财务。工程师,施普林格,纽约,2003年·Zbl 1062.90001号
[28] 福岛M,求解交通分配问题的改进Frank-Wolfe算法,运输。决议B,18(1984),第169-177页。
[29] S.Ghadimi和G.Lan,非凸非线性随机规划的加速梯度法,数学。程序。,156(2016),第59-99页,https://doi.org/10.1007/s10107-015-0871-8。 ·Zbl 1335.62121号
[30] O.Guöler、D.den Hertog、C.Roos、T.Terlaky和T.Tsuchiya,线性规划内点方法的退化性:综述,安,Oper。研究,46(1993),第107-138页,https://doi.org/10.1007/BF02096259。 ·Zbl 0785.90067号
[31] G.Haeser、H.Liu和Y.Ye,边界无可微线性约束优化的最优性条件及复杂性分析,预印本,https://arxiv.org/abs/1702.04300, 2017.
[32] J.Hofbauer和K.Sigmund,进化博弈动力学,公牛。阿默尔。数学。Soc.(N.S.),40(2003),第479-519页·Zbl 1049.91025号
[33] J.Lagarias和R.Vanderbei,I.I.仿射缩放算法的Dikin收敛结果,内容。数学。,114(1990),第109-119页·Zbl 0727.90050号
[34] J.M.Lee,平滑流形简介,梯度。数学课文。218,Springer,纽约,2003年。
[35] H.Liu、T.Yao、R.Li和Y.Ye,折叠凹惩罚稀疏线性回归:局部解的稀疏性、统计性能和算法理论,数学。程序。,166(2017),第207-240页,https://doi.org/10.1007/s10107-017-1114-y。 ·兹比尔1386.90116
[36] P.Mertikopoulos、E.V.Belmega、R.Negrel和L.Sanguinetti,基于矩阵指数学习的分布式随机优化,IEEE传输。信号处理。,65(2017年),第2277-2290页·Zbl 1414.90247号
[37] P.Mertikopoulos和W.H.Sandholm,黎曼博弈动力学《经济学杂志》。《理论》,177(2018),第315-364页·Zbl 1417.91102号
[38] P.Mertikopoulos和M.Staudigl,具有噪声梯度输入的类梯度流的收敛性、SIAM J.Optim.、。,28(2018),第163-197页,https://doi.org/10.1137/16M1105682。 ·Zbl 1387.90187号
[39] P.Mertikopoulos和Z.Zhou,在具有连续动作集和未知回报函数的游戏中学习,数学。程序。,173(2019),第465-507页·Zbl 1420.91027号
[40] A.S.Nemirovski和D.B.Yudin,优化中的问题复杂性和方法效率纽约威利出版社,1983年·兹比尔0501.90062
[41] Y.内斯特罗夫,凸问题的原对偶次梯度方法,数学。程序。,120(2009),第221-259页·Zbl 1191.90038号
[42] Y.Nesterov和A.S.Nemirovskii,凸规划中的内点多项式方法,SIAM,宾夕法尼亚州费城,1994年·Zbl 0824.90112号
[43] N.Nisan,T.Roughgarden,Eá。Tardos和V.V.Vazirani编辑。,算法博弈论,剑桥大学出版社,剑桥,2007年·Zbl 1130.91005号
[44] J.Nocedal和S.J.Wright,数值优化第二版,施普林格出版社,纽约,2000年。
[45] B.T.波利亚,优化简介,翻译。序列号。数学方面。优化软件工程师,纽约,1987年。
[46] R.A.Polyak,无约束凸优化的正则牛顿法,数学。程序。,120(2009),第125-145页,https://doi.org/10.1007/s10107-007-0143-3。 ·Zbl 1189.90121号
[47] S.Shalev-Shwartz,在线学习与在线凸优化,找到。趋势马赫数。学习。,4(2011年),第107-194页·Zbl 1253.68190号
[48] W.Su、S.Boyd和E.J.Cande,Nesterov加速梯度法建模的微分方程:理论与见解,高级神经信息处理。系统。27,Curran Associates,纽约州Red Hook,2014年,第2510-2518页。
[49] 曾荫权,非凸二次型极小化Dikin仿射尺度算法的收敛性、J.Global Optim.、。,30(2004年),第285-300页·Zbl 1066.90076号
[50] P.Tseng、I.M.Bomze和W.Schachinger,线性约束光滑优化的一阶内点法,数学。程序。,127(2011),第399-424页,https://doi.org/10.1007/s10107-009-0292-7。 ·Zbl 1216.49028号
[51] R.J.Vanderbei、M.S.Meketon和B.A.Freedman,Karmarkar线性规划算法的改进,算法学,1(1986),第395-407页·Zbl 0626.90056号
[52] S.A.Vavasis,二次规划属于NP,通知。过程。莱特。,36(1990年),第73-77页·Zbl 0719.90052号
[53] L.Vigneri、G.Paschos和P.Mertikopoulos,大规模网络效用最大化:用指数梯度对抗指数增长,《第38届IEEE国际计算机通信会议论文集》(INFOCOM’19),IEEE出版社,新泽西州皮斯卡塔韦,2019年,第1630-1638页。
[54] A.Wibisono、A.C.Wilson和M.I.Jordan,优化中加速方法的变分观点,程序。国家。阿卡德。科学。美国,113(2016),第E7351-E7358页,https://doi.org/10.1073/pnas.1614734113。 ·兹比尔1404.90098
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。