徐阳阳 约束凸规划非精确增广拉格朗日方法的迭代复杂性。 （英语） Zbl 1458.90518号 数学。程序。 185，编号1-2（A），199-244（2021）. 摘要：增广拉格朗日方法（ALM）已被广泛用于求解约束优化问题。实际上，在ALM框架中更新原始变量的子问题通常只能得到不精确的解决。ALM的收敛性和局部收敛速度已被广泛研究。然而，对于具有非线性不等式约束的问题，不精确ALM的全局收敛速度仍然是开放的。本文研究具有等式和不等式约束的一般凸规划。对于这些问题，我们建立了不精确ALM的全局收敛速度，并根据梯度求值次数估计其迭代复杂性，以产生具有指定精度的原始和/或原始-对偶解。我们首先建立了使用常数惩罚参数或几何递增惩罚参数的不精确ALM的遍历收敛速度结果。基于收敛速度的结果，我们将Nesterov的最优一阶方法应用于每个原始子问题，并估计了不精确ALM的迭代复杂度。我们证明，如果目标是凸的，那么（O（varepsilon^{-1}）梯度估计就足以保证原始-从首要目标和可行性违反两方面进行解决。如果目标是强凸的，结果可以改进为\（O（\varepsilon^{-\frac{1}{2}}|\log\varepsilon|）\）。为了产生一个原对偶（varepsilon）解，凸情形需要更多的梯度计算，数值为（O（varepsilon ^{-\frac{4}{3}}），而强凸情形则仍然是（O（\varepsilon^{-\ frac{1}{2}}|\log\varepsion|）。最后，我们建立了使用几何递增惩罚参数的不精确ALM的非正则收敛速度结果。这个结果只针对原始问题成立。我们证明了非遍历迭代复杂性结果与遍历结果的顺序相同。对二次约束二次规划进行了数值实验，比较了不同设置下不精确ALM的性能。 引用于14文件 MSC公司： 90C25型 凸面编程 90C06型 数学规划中的大尺度问题 68瓦40 算法分析 49平方米27 分解方法 关键词：增广拉格朗日法;非线性约束问题;一阶方法;全局收敛速度;迭代复杂性 软件：CVX公司 PDF格式BibTeX公司 XML格式引用 \textit{Y.Xu}，数学。程序。185，编号1--2（A），199-244（2021；Zbl 1458.90518） 全文： 内政部 arXiv公司 参考文献： [1] 马萨诸塞州巴扎拉；谢拉利，HD；Shetty，CM，《非线性规划：理论与算法》（2006），纽约：威利出版社·Zbl 1140.90040号 ·doi:10.1002/0471787779 [2] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2, 1, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542 [3] Ben-Tal，A。；Zibulevsky，M.，凸规划问题的惩罚/障碍乘数方法，SIAM J.Optim。，7, 2, 347-366 (1997) ·Zbl 0872.90068号 ·doi:10.1137/S1052623493259215 [4] Bertsekas，D.P.：惩罚和乘数方法的收敛速度。在：1973年IEEE决策与控制会议，包括第12届自适应过程研讨会，第12卷，第260-264页。IEEE（1973） [5] Bertsekas，DP，非线性规划（1999），Belmont:Athena Scientific，Belmon·Zbl 1015.90077号 [6] Bertsekas，DP，《约束优化和拉格朗日乘子方法》（2014），伦敦：学术出版社，伦敦 [7] 伯金，EG；卡斯蒂略，R。；Martínez，JM，非凸问题增广拉格朗日算法的数值比较，计算。最佳方案。申请。，31, 1, 31-55 (2005) ·Zbl 1101.90066号 ·doi:10.1007/s10589-005-1066-7 [8] 博伊德，S。；Parikh，北。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。趋势机器学习。，3, 1, 1-122 (2011) ·Zbl 1229.90122号 ·doi:10.1561/220000016 [9] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥：剑桥大学出版社，剑桥·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441 [10] 邓，W。；Yin，W.，关于乘数的广义交替方向法的全局和线性收敛性，J.Sci。计算。，66, 3, 889-916 (2016) ·Zbl 1379.65036号 ·doi:10.1007/s10915-015-0048-x [11] 高，X。；Xu，Y。；Zhang，S.，《随机原始-双重近端块坐标更新》，J.Oper。中国研究社会，7，2，205-250（2019）·兹比尔1438.90255 ·doi:10.1007/s40305-018-0232-4 [12] Glowinski，R.：关于乘数的交替方向方法：历史观点。收录：Fitzgibbon，W.、Kuznetsov，Y.、Neittanmäki，P.、Pironneau，O.（编辑）《科学技术建模、仿真和优化》。应用科学中的计算方法，第34卷。施普林格，多德雷赫特（2014）·兹比尔132065098 [13] Grant，M.、Boyd，S.、Ye，Y.：CVX:Matlab软件用于约束凸编程（2008） [14] Güler，O.，关于凸极小化近点算法的收敛性，SIAM J.Control Optim。，29, 2, 403-419 (1991) ·兹比尔0737.90047 ·doi:10.1137/0329022 [15] Güler，O.，凸极小化的新近点算法，SIAM J.Optim。，2, 4, 649-664 (1992) ·Zbl 0778.90052号 ·doi:10.1137/0802032年 [16] Hamedani，E.Y.，Aybat，N.S.：一般凹凸鞍点问题的原对偶算法。arXiv预印arXiv:1803.01401（2018） [17] He，B.，Yuan，X.：关于线性约束优化的增广拉格朗日方法的加速。在线优化（2010） [18] 他，B。；Yuan，X.，关于douglas-rachford交替方向方法的\（{O}（1/n）\）收敛速度，SIAM J.Numer。分析。，50, 2, 700-709 (2012) ·Zbl 1245.90084号 ·数字对象标识代码：10.1137/10836936 [19] Hestenes，MR，乘数和梯度法，J.Optim。理论应用。，4, 5, 303-320 (1969) ·Zbl 0174.20705号 ·doi:10.1007/BF00927673 [20] Kang，M。；Kang，M。；Jung，M.，非精确加速增广拉格朗日方法，计算。最佳方案。申请。，62, 2, 373-404 (2015) ·Zbl 1353.90145号 ·doi:10.1007/s10589-015-9742-8 [21] Kang，M。；Yun，S。；吴，H。；Kang，M.，线性约束极小化的加速bregman方法，科学杂志。计算。，56, 3, 515-534 (2013) ·兹比尔1276.65033 ·数字对象标识代码：10.1007/s10915-013-9686-z [22] 兰·G。；Monteiro，RD，凸规划的一阶增广拉格朗日方法的迭代复杂性，数学。程序。，155, 1-2, 511-547 (2016) ·Zbl 1348.90654号 ·doi:10.1007/s10107-015-0861-x [23] Li，Z.，Xu，Y.：凸和非凸程序的一阶非精确增广拉格朗日方法：非退化收敛和迭代复杂性。预印本（2019年） [24] Lin，T。；马，S。；Zhang，S.，无强凸性凸极小化族的多块admm迭代复杂性分析，科学杂志。计算。，69, 1, 52-81 (2016) ·Zbl 1348.90522号 ·doi:10.1007/s10915-016-0182-0 [25] 刘，Y-F；刘，X。；Ma，S.，关于复合凸规划的不精确增广拉格朗日框架的非遍历收敛速度，Math。操作。第44、2、632-650号决议（2019年）·Zbl 1441.90119号 ·doi:10.1287/门.2018.0939 [26] Lu，Z.，Zhou，Z.：凸二次规划的一阶增广拉格朗日方法的迭代复杂性。ArXiv预印ArXiv:1803.09941（2018） [27] 蒙泰罗，RD；Svaiter，BF，块分解算法的迭代复杂性和乘法器的交替方向方法，SIAM J.Optim。，23, 2, 475-507 (2013) ·Zbl 1267.90181号 ·数字对象标识代码：10.1137/10849468 [28] 内科瓦拉，I。；Nedelcu，V.，不精确对偶一阶方法应用于对偶分解的速率分析，IEEE Trans。自动化。控制，59，5，1232-1243（2014）·Zbl 1360.90205号 ·doi:10.1109/TAC.2013.2294614 [29] 内德尔库，V。；内科瓦拉，I。；Tran-Dinh，Q.，不精确梯度增广拉格朗日方法的计算复杂性：约束mpc的应用，SIAM J.控制优化。，52, 5, 3109-3134 (2014) ·Zbl 1322.90066号 ·数字对象标识代码：10.1137/120897547 [30] Nedić，A。；Ozdaglar，A.，对偶次梯度方法的近似原始解和速率分析，SIAM J.Optim。，19, 4, 1757-1780 (2009) ·兹比尔1191.90037 ·doi:10.1137/070708111 [31] Nedić，A。；Ozdaglar，A.，鞍点问题的次梯度方法，J.Optim。理论应用。，142, 1, 205-228 (2009) ·Zbl 1175.90415号 ·doi:10.1007/s10957-009-9522-7 [32] Nesterov，Y.，《凸优化入门讲座：基础课程》（2004年），诺威尔：Kluwer学术出版社，诺威尔·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9 [33] Nesterov，Y.，最小化复合函数的梯度方法，数学。程序。，140, 1, 125-161 (2013) ·Zbl 1287.90067号 ·doi:10.1007/s10107-012-0629-5 [34] 欧阳，Y。；陈，Y。；兰·G。；Pasiliao，E.Jr，乘法器的加速线性化交替方向方法，SIAM J.成像科学。，8, 1, 644-681 (2015) ·Zbl 1321.90105号 ·数字对象标识码：10.1137/14095697X [35] Ouyang，Y.，Xu，Y.：凸-凹双线性鞍点问题一阶方法的复杂度下限。ArXiv预印ArXiv:1808.02901（2018） [36] 鲍威尔，MJ；Fletcher，R.，最小化问题中非线性约束的方法，最优化（1969），纽约：学术出版社，纽约·Zbl 0194.47701号 [37] Rockafellar，RT，通过无约束优化解决非线性规划问题的对偶方法，数学。程序。，5, 1, 354-373 (1973) ·Zbl 0279.90035号 ·doi:10.1007/BF01580138 [38] Rockafellar，RT，应用于凸规划的hestenes和powell乘数法，J.Optim。理论应用。，12, 6, 555-562 (1973) ·Zbl 0254.90045号 ·doi:10.1007/BF00934777 [39] Rockafellar，RT，增广拉格朗日算法及其在凸规划中的应用，数学。操作。第1、2、97-116号决议（1976年）·Zbl 0402.90076号 ·doi:10.1287/门1.2.97 [40] Schmidt，M.，Roux，N.L.，Bach，F.R.：凸优化的不精确近似粒度方法的收敛速度。摘自：《神经信息处理系统进展》，第1458-1466页（2011年） [41] 曾，P。；Bertsekas，DP，关于凸规划指数乘数法的收敛性，数学。程序。，60, 1, 1-19 (1993) ·兹比尔0783.90101 ·doi:10.1007/BF01580598 [42] Xu，Y.，线性约束复合凸规划的加速一阶原对偶逼近方法，SIAM J.Optim。，27, 3, 1459-1484 (2017) ·Zbl 1373.90111号 ·doi:10.1137/16M1082305 [43] Xu，Y.：多函数约束凸规划的原对偶随机梯度法。ArXiv预印ArXiv:1802.02724（2018） [44] Xu，Y.，仿射约束凸程序的异步并行原对偶块坐标更新方法，计算。最佳方案。申请。，72, 1, 87-113 (2019) ·Zbl 1411.90215号 ·doi:10.1007/s10589-018-0037-8 [45] Xu，Y。；Yin，W.，正则化多凸优化的块坐标下降法及其在非负张量分解和完成中的应用，SIAM J.成像科学。，6, 3, 1758-1789 (2013) ·Zbl 1280.49042号 ·数字对象标识代码：10.1137/120887795 [46] Xu，Y。；Zhang，S.，约束凸优化的加速原对偶近端块坐标更新方法，计算。最佳方案。申请。，70, 1, 91-128 (2018) ·Zbl 1391.90483号 ·doi:10.1007/s10589-017-9972-z [47] Yu，H.，Neely，M.J.：大规模约束凸规划的一种具有{O}（1/t）收敛速度的原对偶型算法。2016年IEEE第55届决策与控制会议（CDC），第1900-1905页。IEEE（2016） [48] Yu，H。；Neely，MJ，一般凸规划的一种具有（{O}（1/t）收敛速度的简单并行算法，SIAM J.Optim。，2759-783年2月27日（2017年）·Zbl 1365.90207号 ·doi:10.1137/16M1059011 此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。