Tran-Din，Quoc公司 非光滑约束凸优化的近似交替惩罚算法。 （英语） Zbl 1418.90199号 计算。最佳方案。申请。 72，编号1，1-43（2019）. 总结：我们开发了两种新的近似交替惩罚算法来解决一类广泛的约束凸优化问题。我们的方法主要依赖于经典二次罚函数、交替极小化、Nesterov加速度、参数自适应策略的新组合。第一种算法设计用于解决一般和可能非光滑的约束凸问题，而不需要任何Lipschitz梯度连续性或强凸性，同时在非遍历意义下实现最著名的（mathcal{O}（frac{1}{k}）-收敛速度，其中（k）是迭代计数器。第二种算法也用于解决非强凸但半强凸的问题。该算法可以在原始约束问题上获得最著名的\（\mathcal｛O｝（\frac｛1｝｛k^2｝）\）-收敛速度。这种速率是在两种情况下获得的：（1）仅对强凸项的迭代序列进行平均，或（2）使用该项的两个近似算子而不进行平均。在这两种算法中，我们都允许一个将第二个子问题线性化，以使用相应目标项的近似算子。然后，我们定制我们的方法来解决不同的凸问题，并产生新的变体。作为副产品，这些算法保持了与我们的主要算法相同的收敛保证。我们通过不同的数值例子验证了我们的理论发展，并将我们的方法与一些现有的最先进的算法进行了比较。 引用于7文件 MSC公司： 90C25型 凸面编程 关键词：近似交替算法;二次惩罚法;加速计划;约束凸优化;一阶方法;收敛速度 软件：TFOCS公司 PDF格式BibTeX公司 XML格式引用 \textit{Q.Trans-Dinh}，计算。最佳方案。申请。72，编号1，1-43（2019；Zbl 1418.90199） 全文： 内政部 arXiv公司 参考文献： [1] Attouch，H.，Chbani，Z.，Riahi，H.：Nesterov加速梯度法在亚临界情况下的收敛速度\[\alpha\le 3\]α≤3。ESAIM:COCV（2017）。https://doi.org/10.1051/cocv/2017083 ·Zbl 1437.49045号 [2] Auslender，A.，Teboulle，M.：凸优化和圆锥优化的内部梯度和近似方法。SIAM J.Optim公司。16(3), 697-725 (2006) ·兹比尔1113.90118 ·doi:10.1137/S1052623403427823 [3] Bauschke，H.H.，Combettes，P.：希尔伯特空间中的凸分析和单调算子理论，第2版。柏林施普林格出版社（2017）·Zbl 1359.26003号 ·doi:10.1007/978-3-319-48311-5 [4] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2(1), 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542 [5] Becker，S.、CandèS，E.J.、Grant，M.：凸锥问题的模板及其在稀疏信号恢复中的应用。数学。程序。计算。3(3), 165-218 (2011) ·Zbl 1257.90042号 ·doi:10.1007/s12532-011-0029-5 [6] Belloni，A.、Chernozhukov，V.、Wang，L.：正方形LASSO：通过圆锥规划实现稀疏信号的关键恢复。《生物特征》94（4），791-806（2011）·Zbl 1228.62083号 ·doi:10.1093/biomet/asr043 [7] Ben-Tal，A.，Nemirovski，A.：现代凸优化讲座：分析、算法和工程应用，MPS/SIAM优化系列第3卷。SIAM，费城（2001）·Zbl 0986.90032号 ·doi:10.1137/1.9780898718829 [8] Bertsekas，D.P.：非线性规划，第二版。Athena Scientific，纳舒亚（1999）·Zbl 1015.90077号 [9] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.、Eckstein，J.：通过交替方向乘数法进行分布式优化和统计学习。已找到。趋势马赫数。学习。3(1), 1-122 (2011) ·Zbl 1229.90122号 ·doi:10.1561/220000016 [10] Boyd，S.，Vandenberghe，L.：凸优化。剑桥大学出版社（2004）·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441 [11] Chambolle，A.，Pock，T.：凸问题的一阶原对偶算法及其在成像中的应用。数学杂志。成像视觉。40(1), 120-145 (2011) ·Zbl 1255.68217号 ·doi:10.1007/s10851-010-0251-1 [12] Chambolle，A.，Pock，T.：关于一阶原始-对偶算法的遍历收敛速度。数学。程序。159(1-2), 253-287 (2016) ·Zbl 1350.49035号 ·doi:10.1007/s10107-015-0957-3 [13] Chen，G.，Teboulle，M.：凸极小化问题的基于近似的分解方法。数学。程序。第64页，第81-101页（1994年）·Zbl 0823.90097号 ·doi:10.1007/BF01582566 [14] Condat，L.：一种用于凸优化的原始-对偶分裂方法，涉及Lipschitz、近似和线性组合项。J.优化。理论应用。158, 460-479 (2013) ·Zbl 1272.90110号 ·doi:10.1007/s10957-012-0245-9 [15] Davis，D.：原始-对偶分裂方案的收敛速度分析。SIAM J.Optim公司。25(3), 1912-1943 (2015) ·Zbl 1323.47069号 ·数字对象标识代码：10.1137/151003076 [16] Davis，D.：前向Douglas Rachford分裂方案的收敛速度分析。SIAM J.Optim公司。25(3), 1760-1786 (2015) ·Zbl 1325.65081号 ·数字对象标识代码：10.1137/140992291 [17] Davis，D.，Yin，W.：在正则性假设下放松的Peaceman-Rachford和ADMM的更快收敛速度。数学。操作。第42号决议，783-805（2014年）·Zbl 1379.65035号 ·doi:10.1287/门.2016.0827 [18] Du，Y.，Lin，X.，Ruszczynski，A.：多块凸优化的选择性线性化方法。SIAM J.Optim公司。27(2), 1102-1117 (2017) ·Zbl 1366.90194号 ·数字对象标识码：10.1137/15M103217X [19] Eckstein，J.，Bertsekas，D.：关于最大单调算子的Douglas-Rachford分裂方法和近点算法。数学。程序。55, 293-318 (1992) ·Zbl 0765.90073号 ·doi:10.1007/BF01581204 [20] Esser，E.，Zhang，X.，Chan，T.：一类用于TV-minimization的一阶原始-对偶算法的一般框架。SIAM J.成像科学。3(4), 1015-1046 (2010) ·Zbl 1206.90117号 ·数字对象标识码：10.1137/09076934X [21] Fletcher，R.：实用优化方法，第2版。奇切斯特·威利（1987）·Zbl 0905.65002号 [22] Goldfarb，D.，Ma，S.，Scheinberg，K.：两个凸函数之和最小化的快速交替线性化方法。数学。程序。序列号。A 141（1），349-382（2012）·Zbl 1280.65051号 [23] Goldstein，T.、O'Donoghue，B.、Setzer，S.：快速交替方向优化方法。SIAM J.成像科学。7（3），1588-1623（2012）·Zbl 1314.49019号 ·doi:10.1137/120896219 [24] 格兰特，M。；博伊德，S。；Ye，Y。；Liberti，L.（编辑）；Maculan，N.（ed.），有纪律的凸规划，155-210（2006），柏林·Zbl 1130.90382号 ·数字对象标识代码：10.1007/0-387-30528-97 [25] 何伯生，袁晓梅：关于Douglas-Rachford交替方向法的\[{O}（1/n）O\]（1/n）收敛速度。SIAM J.数字。分析。50, 700-709 (2012) ·Zbl 1245.90084号 ·数字对象标识代码：10.1137/10836936 [26] Jaggi，M.：重温Frank-Wolfe：无投影稀疏凸优化。JMLR W&CP 28（1），427-435（2013） [27] Johnson，R.，Zhang，T.：使用预测方差减少加速随机梯度下降。摘自：Burges，C.J.C.，Bottou，L.，Welling，M.，Ghahramani，Z.，Weinberger，K.Q.（编辑），《神经信息处理系统进展》，第315-323页。NIPS基金会，太浩湖（2013） [28] Kiwiel，K.C.，Rosa，C.H.，Ruszczynski，A.：通过交替线性化的近似分解。SIAM J.Optim公司。9(3), 668-689 (1999) ·Zbl 0958.65068号 ·doi:10.1137/S1052623495288064 [29] Lan，G.，Monteiro，R.D.C.：凸规划一阶惩罚方法的迭代复杂性。数学。程序。138(1), 115-139 (2013) ·Zbl 1282.90129号 ·doi:10.1007/s10107-012-0588-x [30] Necoara，I.，Nesterov，Yu。，Glineur，F.：非强凸优化一阶方法的线性收敛。数学。程序。(2018). https://doi.org/10.1007/s10107-018-1232-1 ·Zbl 1412.90111号 [31] Necoara，I.，Patrascu，A.，Glineur，F.：锥凸规划的一阶不精确拉格朗日和惩罚方法的复杂性。最佳方案。方法Softw。(2017). https://doi.org/101080/10556788.2017.1380642 ·Zbl 1407.90256号 [32] Necoara，I.，Suykens，J.A.K.：可分离凸优化的内点拉格朗日分解方法。J.优化。理论应用。143(3), 567-588 (2009) ·邮编：1184.90126 ·doi:10.1007/s10957-009-9566-8 [33] Nemirovskii，A.，Yudin，D.：优化中的问题复杂性和方法效率。Wiley Interscience，纽约（1983年）·Zbl 0501.90062号 [34] Nesterov，Y.：具有收敛速度的无约束凸极小化问题的一种方法\[{\cal{O}}（1/k^2）O\]（1/k2）。Doklady AN SSSR 269、543-547（1983）。翻译为苏联数学。多克 [35] Nesterov，Y.：凸优化入门讲座：应用优化第87卷基础课程。Kluwer学术出版社，Dordrecht（2004）·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9 [36] Nesterov，Y.：坐标下降法在大规模优化问题上的效率。SIAM J.Optim公司。22(2), 341-362 (2012) ·Zbl 1257.90073号 ·数字对象标识代码：10.1137/100802001 [37] Nesterov，Y.：最小化复合目标函数的梯度方法。数学。程序。140(1), 125-161 (2013) ·Zbl 1287.90067号 ·doi:10.1007/s10107-012-0629-5 [38] Nguyen，V.Q.，Fercoq，O.，Cevher，V.：线性算子非光滑复合极小化的平滑技术。ArXiv预印本（ArXiv:1706.05837）（2017） [39] Nocedal，J.、Wright，S.J.：数值优化。Springer运筹学与金融工程系列，第2版。施普林格，柏林（2006）·Zbl 1104.65059号 [40] O'Donoghue，B.，Candes，E.：加速梯度方案的自适应重启。已找到。计算。数学。2015年7月15日至732日·Zbl 1320.90061号 ·doi:10.1007/s10208-013-9150-3 [41] Ouyang，Y.，Chen，Y.、Lan，G.、Pasiliao，E。J.R.：一种加速线性化交替方向乘法器方法。SIAM J.成像科学。8(1), 644-681 (2015) ·Zbl 1321.90105号 ·数字对象标识码：10.1137/14095697X [42] Recht，B.，Fazel，M.，Parrilo，P.A.：通过核范数最小化保证线性矩阵方程的最小秩解。SIAM版本52（3），471-501（2010）·Zbl 1198.90321号 ·数字对象标识代码：10.1137/070697835 [43] Rockafellar，R.T.：凸分析，普林斯顿数学系列第28卷。普林斯顿大学出版社，普林斯顿（1970）·Zbl 0193.18401号 [44] Shefi，R.，Teboulle，M.：关于凸问题的近似交替线性化最小化算法的收敛速度。EURO J.计算。最佳方案。4(1), 27-46 (2016) ·Zbl 1338.90306号 ·doi:10.1007/s13675-015-0048-5 [45] Sra，S.、Nowozin，S.和Wright，S.J.：机器学习的优化。麻省理工学院出版社，剑桥（2012） [46] Tran-Dinh，Q.，Alacaoglu，A.，Fercoq，O.，Cevher，V.：非光滑凸优化的自适应双环原对偶算法。ArXiv预印本（ArXiv:11808.04648），第1-38页（2018）·Zbl 1452.90246号 [47] Tran-Dinh，Q.，Cevher，V.：约束凸极小化的原始-对偶算法框架。ArXiv预印本（ArXiv:1406.5403），《技术报告》，第1-54页（2014年） [48] Tran-Dini，Q.，Cevher，V.：通过基于模型的过度间隙实现约束凸最小化。摘自：《神经信息处理系统学报》，第27卷，第721-729页，加拿大蒙特利尔，2014年12月 [49] Tran-Dini，Q.，Fercoq，O.，Cevher，V.：非光滑复合凸最小化的光滑原始-对偶优化框架。SIAM J.Optim公司。28, 1-35 (2018) ·Zbl 1386.90109号 ·doi:10.1137/16M1093094 [50] Tran-Din，Q.：交替最小化算法中原始序列的构造和迭代复杂性。ArXiv预印本（ArXiv:11511.03305）（2015） [51] Tran-Dini，Q.：非光滑复合凸最小化的自适应平滑算法。计算。最佳方案。申请。66(3), 425-451 (2016) ·Zbl 1366.90168号 ·doi:10.1007/s10589-016-9873-6 [52] Tran-Dini，Q.：具有最佳速率的非实数交替近端增广拉格朗日算法。摘自：第32届神经信息处理系统会议，第1-9页，NIPS基金会，加拿大蒙特利尔，2018年12月 [53] Tseng，P.：分裂算法在凸规划和变分不等式分解中的应用。SIAM J.控制优化。29, 119-138 (1991) ·Zbl 0737.90048号 ·数字对象标识代码：10.1137/0329006 [54] Tseng，P.：关于凹凸优化的加速近似梯度法。提交给SIAM J.Optim。（2008年） [55] Vu，C.B.：涉及共胁迫算子的对偶单调包含的分裂算法。高级计算。数学。38(3), 667-681 (2013) ·Zbl 1284.47045号 ·doi:10.1007/s10444-011-9254-8 [56] Woodworth，B.E.，Srebro，N.：优化复合目标的严格复杂性界限。收录人：Lee，D.D.，Sugiyama，M.，Luxburg，U.V.，Guyon，I.，Garnett，R.（编辑），《神经信息处理系统进展》，第3639-3647页。西班牙巴塞罗那NIPS基金会（2016） [57] Xu，Y.：线性约束复合凸规划的加速一阶原始-对偶近似方法。SIAM J.Optim公司。27(3), 1459-1484 (2017) ·Zbl 1373.90111号 ·doi:10.1137/16M1082305 [58] Zou，H.，Hastie，T.：通过弹性网进行正则化和变量选择。J.R.统计社会服务。B 67（2），301-320（2005）·Zbl 1069.62054号 ·数字对象标识代码：10.1111/j.1467-9868.2005.0050.x 此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。