林启航;徐阳阳 通过不精确加速近似梯度法降低两类优化问题的复杂性。 （英语） Zbl 07669682号 SIAM J.Optim公司。 33，编号1，1-35（2023）. 摘要：针对具有两个不同平滑常数和计算代价的光滑分量的强凸组合优化问题，我们提出了一种双回路非精确加速近端梯度（APG）方法。与APG相比，当一个平滑分量的计算成本较高但平滑常数较小时，不精确APG可以降低寻找近平稳点的时间复杂度。具有此性质的强凸组合优化问题来自仿射约束组合凸优化的正则化增广拉格朗日方法的子问题，也来自双线性鞍点结构非光滑凸优化的光滑逼近。我们证明了不精确的APG方法可以应用于这两个问题，并降低了寻找近平稳解的时间复杂性。数值实验表明，与Hamedani和Aybat提出的最优原始-对偶一阶方法相比，我们的方法具有更高的效率[SIAM J.Optim.公司。，31（2021），第1299-1329页]和兰、欧阳和周的梯度滑动法[arXiv2101.00143型, 2021]. MSC公司： 65千5 数值数学规划方法 65年第68季度 算法和问题复杂性分析 90立方 非线性规划 90C60型 数学规划问题的抽象计算复杂性 关键词：一阶方法;约束优化;鞍点非光滑优化 软件：玻璃制品;约束拉索;新冠肺炎 PDF格式BibTeX公司 XML格式引用 \textit{Q.Lin}和\textit{Y.Xu}，SIAM J.Optim。33，编号1，1-35（2023；Zbl 07669682） 全文： 内政部 参考文献： [1] Allen-Zhu，Z.和Hazan，E.，优化目标之间的最佳黑盒减少，高级神经信息处理。系统。，29（2016），第1614-1622页。 [2] Beck，A.和Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2（2009年），第183-202页·Zbl 1175.94009号 [3] Beck，A.和Teboulle，M.，《平滑和一阶方法：统一框架》，SIAM J.Optim。，22（2012），第557-580页·Zbl 1251.90304号 [4] Bello-Cruz，Y.、Gonçalves，M.L.和Krislock，N.，《关于具有相对误差规则的非精确加速近似梯度方法》，预印本，arXiv:2005.037662020年。 [5] Bot，R.I.，Csetnek，E.R.，and Nguyen，D.K.，凸区域中迭代收敛保证的快速增广拉格朗日方法，arXiv:2111.093702021。 [6] Bredies，K.和Sun，H.，解决凹凸鞍点问题的加速Douglas-Rachford方法，预印本，arXiv:1604.062822016。 [7] Candès，E.J.、Li，X.、Ma，Y.和Wright，J.，稳健主成分分析？，J.ACM，58（2011），第1-37页·Zbl 1327.62369号 [8] Candès，E.J.和Recht，B.，通过凸优化实现精确矩阵补全，Found。计算。数学。，9（2009），第717-772页·兹比尔1219.90124 [9] Chambolle，A.和Pock，T.，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。《成像视觉》，40（2011），第120-145页·Zbl 1255.68217号 [10] Chen，X.，Lin，Q.，Kim，S.，Carbonell，J.G.和Xing，E.P.，一般结构稀疏回归的平滑近端梯度法，Ann.Appl。《统计》第6卷（2012年），第719-752页·Zbl 1243.62100号 [11] Chen，X.，Lin，Q.，and Sen，B.，《关于投影估计的自由度及其在多元非参数回归中的应用》，J.Amer。统计师。协会，115（2020），第173-186页·Zbl 1437.62138号 [12] Chen，Y.，Lan，G.，Ouyang，Y.一类鞍点问题的最优原对偶方法，SIAM J.Optim。，24（2014），第1779-1814页·兹比尔1329.90090 [13] Chen，Y.、Lan，G.和Ouyang，Y.，一类变分不等式的加速格式，数学。程序。，165（2017），第113-149页·Zbl 1386.90102号 [14] Dvinskikh，D.和Gasnikov，A.，随机凸规划问题的分散并行原始和对偶加速方法，J.逆不适定问题。，29（2021），第385-405页·Zbl 1472.90087号 [15] Evgeniou，T.、Michelli，C.A.、Pontil，M.和Shawe-Taylor，J.，《使用内核方法学习多任务》，J.Mach。学习。第6号决议（2005年）·Zbl 1222.68197号 [16] Friedman，J.、Hastie，T.和Tibshirani，R.，用图形套索进行稀疏逆协方差估计，生物统计学，9（2008），第432-441页·Zbl 1143.62076号 [17] Gaines，B.R.，Kim，J.和Zhou，H.，《拟合约束套索的算法》，J.Compute。图表。统计人员。，27（2018），第861-871页·Zbl 07498997号 [18] Gorbunov，E.、Dvinskikh，D.和Gasnikov，A.，《随机凸优化的最优分散分布式算法》，预印本，arXiv:1911.073632019年。 [19] Gu，X.，Chung，F.-L.，Ishibuchi，H.，and Wang，S.，多任务耦合逻辑回归及其在大型多任务数据集中的快速实现，IEEE Trans。赛博。，45（2014），第1953-1966页。 [20] Hamedani，E.Y.和Aybat，N.S.，一般凹凸鞍点问题的带线搜索的原对偶算法，SIAM J.Optim。，31（2021），第1299-1329页·Zbl 1507.65106号 [21] He，B.，Xu，S.，Yuan，J.，线性不等式约束凸规划的不定线性化增广拉格朗日方法，预印本，arXiv:2105.024252021。 [22] He，B.和Yuan，X.，关于线性约束优化的增广拉格朗日方法的加速，《优化》，3（2010）。 [23] He，X.，Hu，R.，and Fang，Y.-P.，线性约束凸优化问题带尺度的快速原对偶方法的收敛速度分析，预印本，arXiv:2103.101182021。 [24] He，X.，Hu，R.，and Fang，Y.-P.，线性等式约束凸优化问题的原对偶动力学和时间尺度算法的快速收敛，预印本，arXiv:2103.129312021。 [25] He，X.，Hu，R.和Fang，Y.-P.，线性等式约束凸优化问题的惯性加速原对偶方法，Numer。《算法》，9（2022），第1669-1690页·Zbl 1496.90056号 [26] He，Y.和Monteiro，R.D.，一类复合凹凸鞍点问题的加速hpe型算法，SIAM J.Optim。，26（2016），第29-56页·Zbl 1329.90179号 [27] 赫斯滕斯，M.R.，乘数和梯度方法，J.Optim。理论应用。，4（1969年），第303-320页·Zbl 0174.20705号 [28] Huang，B.，Ma，S.和Goldfarb，D.，加速线性化bregman方法，科学杂志。计算。，54（2013），第428-453页·Zbl 1271.65096号 [29] Jacob，L.，Obozinski，G.，and Vert，J.-P.，Group lasso with overlap and graph lasso，《第26届机器学习国际年会论文集》，2009年，第433-440页。 [30] James，G.M.、Paulson，C.和Rusmevichientong，P.，《惩罚和约束优化：高维网站广告应用》，J.Amer。统计师。协会，115（2019）。 [31] Jiang，K.，Sun，D.和Toh，K.C.，大规模线性约束凸SDP的非精确加速近似梯度法，SIAM J.Optim。，22（2012），第1042-1064页·Zbl 1401.90120号 [32] Kang，M.，Kang，M，和Jung，M。，非精确加速增广拉格朗日方法，计算。最佳方案。申请。，62（2015），第373-404页·Zbl 1353.90145号 [33] Kang，M.、Yun，S.、Woo，H.和Kang，M，线性约束最小化的加速bregman方法，科学杂志。计算。，56（2013年），第515-534页·Zbl 1276.65033号 [34] Kong，W.，Melo，J.G.和Monteiro，R.D.，求解线性约束非凸组合规划的二次惩罚加速非精确近点方法的复杂性，SIAM J.Optim。，29（2019），第2566-2593页·Zbl 1504.90101号 [35] Kong，W.和Monteiro，R.D.，非凸谱优化问题的加速非精确复合梯度法，计算。最佳方案。申请。，出现·Zbl 1494.90086号 [36] Lan，G.，复合优化的梯度滑动，数学。程序。，159（2016），第201-235页·Zbl 1346.90667号 [37] Lan，G.，Lee，S.和Zhou，Y.，《分散和随机优化的通信高效算法》，数学。程序。，180（2020年），第237-284页·Zbl 1437.90125号 [38] Lan，G.和Monteiro，R.D.，凸规划一阶惩罚方法的迭代复杂性，数学。程序。，138（2013），第115-139页·Zbl 1282.90129号 [39] Lan，G.和Monteiro，R.D.，凸规划一阶增广拉格朗日方法的迭代复杂性，数学。程序。，155（2016），第511-547页·Zbl 1348.90654号 [40] Lan，G.和Ouyang，Y.，结构化凸优化的加速梯度滑动，计算。最佳方案。申请。，82（2022），第361-394页·Zbl 1489.90121号 [41] Lan，G.，Ouyang，Y.和Zhou，Y.，图拓扑不变梯度和去中心化随机优化的采样复杂性，预印本，arXiv:22101.001432021。 [42] Lan，G.、Pokutta，S.、Zhou，Y.和Zink，D.，条件加速惰性随机梯度下降，《机器学习国际会议论文集》，PMLR，2017年，第1965-1974页。 [43] Lan，G.和Zhou，Y.，凸优化的条件梯度滑动，SIAM J.Optim。，26（2016），第1379-1409页·Zbl 1342.90132号 [44] Li，H.，Fang，C.，and Lin，Z.，二次罚函数法的收敛速度分析及其在分散分布优化中的应用，arXiv:1711.108022017。 [45] Li，H.，Fang，C.，Yin，W.，and Lin，Z.，带递增惩罚参数的分散加速梯度法，IEEE Trans。信号处理。，68（2020年），第4855-4870页·Zbl 07591075号 [46] Li，H.，Lin，Z.和Fang，Y.，强凸分散优化的方差减少额外和数字及其最优加速，预印本，arXiv:2009.047332020。 [47] Lin，Q.和Xiao，L.，稀疏优化的自适应加速近端梯度法及其同伦延拓，计算。最佳方案。申请。，60（2015），第633-674页·Zbl 1341.90102号 [48] Lin，Q.和Xu，Y.，关于仿射约束和双线性鞍点结构凸问题的线搜索和降低复杂性的非精确加速近似梯度法，预印本，arXiv:2201.011692022。 [49] Lu，Z.和Zhou，Z.，凸二次规划一阶增广拉格朗日方法的迭代复杂性，预印本，arXiv:1803.09941v32018。 [50] Nemirovski，A.，Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的收敛速度为O（1/t）的Prox方法，SIAM J.Optim。，15（2004年），第229-251页·Zbl 1106.90059号 [51] Nemirovskij，A.S.和Yudin，D.B.，优化中的问题复杂性和方法效率，威利，纽约，1983年·Zbl 0501.90062号 [52] Nesterov，Y.，《凸优化导论讲座：基础课程》，Springer科学与商业媒体，纽约，2003年。 [53] Nesterov，Y.，非光滑凸极小化中的过间隙技术，SIAM J.Optim。，16（2005年），第235-249页·Zbl 1096.90026号 [54] Nesterov，Y.，非光滑函数的平滑最小化，数学。程序。，103（2005），第127-152页·Zbl 1079.90102号 [55] Nesterov，Y.，最小化复合函数的梯度方法，数学。程序。，140（2013），第125-161页·Zbl 1287.90067号 [56] Ouyang，Y.和Squires，T.，用于凸优化的通用条件梯度滑动，预印本，arXiv:2103.110262021。 [57] Ouyang，Y.和Xu，Y.，凸-凹双线性鞍点问题一阶方法的复杂度下限，数学。程序。，185（2021），第1-35页·Zbl 1458.90516号 [58] Patrascu，A.、Necoara，I.和Tran-Dinh，Q.，约束凸优化的自适应非精确快速增广拉格朗日方法，Optim。莱特。，11（2017），第609-626页·Zbl 1368.90151号 [59] Peng，Z.，Wu，T.，Xu，Y.，Yan，M.和Yin，W.，《坐标友好型结构、算法和应用》，《数学年鉴》。科学。申请。，1（2016），第57-119页·Zbl 1432.65076号 [60] Powell，M.J.，《非线性约束优化计算的快速算法》，《数值分析》，纽约施普林格，1978年，第144-157页·Zbl 0374.65032号 [61] Rockafellar，R.T.，增广拉格朗日算法及其在凸规划中的应用，数学。操作。Res.，1（1976），第97-116页·Zbl 0402.90076号 [62] Sabach，S.和Teboulle，M.，凸优化中的快速拉格朗日方法，SIAM J.Optim。，32（2022），第204-227页·Zbl 1486.90149号 [63] Schmidt，M.，Roux，N.L.，and Bach，F.，凸优化非精确近似梯度方法的收敛速度，预印本，arXiv:1109.24152011。 [64] Tao，M.和Yuan，X.，凸优化的加速uzawa方法，数学。公司。，86（2017），第1821-1845页·Zbl 1360.90206号 [65] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。B.Methodol.、。，58（1996），第267-288页·Zbl 0850.62538号 [66] Tibshirani，R.、Saunders，M.、Rosset，S.、Zhu，J.和K.K.奈特，《通过融合套索的稀疏性和平滑性》，J.R.Stat.Soc.Ser。B.Methodol.、。，67（2005），第91-108页·Zbl 1060.62049号 [67] Tran-Dinh，Q.和Cevher，V.，通过基于模型的过度间隙实现约束凸最小化，高级神经网络过程。系统。，27（2014），第721-729页。 [68] Tran-Dini，Q.和Cevher，V.，《约束凸极小化的原始-对偶算法框架》，预印本，arXiv:1406.54032014年。 [69] Tran-Dinh，Q.，Fercoq，O.，and Cevher，V.，非光滑复合凸极小化的光滑原对偶优化框架，SIAM J.Optim。，28（2018），第96-134页·Zbl 1386.90109号 [70] Tseng，P.，《凹凸优化的加速近似梯度法》，手稿，2008年。 [71] Villa，S.、Salzo，S.，Baldassarre，L.和Verri，A.，《加速和不精确正向反向算法》，SIAM J.Optim。，23（2013），第1607-1633页·Zbl 1295.90049号 [72] Wei，X.，Yu，H.，Ling，Q.，and Neely，M.J.，《求解复杂度低于（O（1/varepsilon））的非光滑约束程序的原对偶同伦平滑方法》，NeurIPS，2018年，第3999-4009页。 [73] Xu，Y.，线性约束复合凸规划的加速一阶原对偶逼近方法，SIAM J.Optim。，27（2017），第1459-1484页·Zbl 1373.90111号 [74] Xu，Y.，基于线性化增广拉格朗日函数的约束凸规划的一阶方法，Informs J.Optim。，3（2021年），第89-117页。 [75] Xu，Y.，约束凸规划的非精确增广拉格朗日方法的迭代复杂性，数学。程序。，185（2021），第199-244页·Zbl 1458.90518号 [76] Xu，Y.，带（{O}（1））函数约束问题的一阶方法与无约束问题的收敛速度几乎相同，SIAM J.Optim。，32（2022），第1759-1790页·Zbl 1509.65054号 [77] Xu，Y.、Akrotirianakis，I.和Chakraborty，A.，huberized support vector machine的近似梯度法，Pattern Ana。申请。，19（2016），第989-1005页·Zbl 1425.68358号 [78] Xu，Y.和Yin，W.，正则化多凸优化的块坐标下降方法及其在非负张量分解和补全中的应用，SIAM J.Imaging Sci。，6（2013年），第1758-1789页·Zbl 1280.49042号 [79] Yin，W.，线性化bregman方法的分析和推广，SIAM J.成像科学。，3（2010年），第856-877页·Zbl 1211.68491号 [80] Yin，W.、Osher，S.、Goldfarb，D.和Darbon，J.，压缩传感应用中最小化（ell_1）的Bregman迭代算法，SIAM J.成像科学。，1（2008），第143-168页·兹比尔1203.90153 [81] Yuan，L.，Liu，J.和Ye，J.，重叠群套索的有效方法，高级神经信息处理。系统。，24 (2011). [82] Yuan，M.和Lin，Y.，分组变量回归中的模型选择和估计，J.R.Stat.Soc.Ser。B方法。，68（2006），第49-67页·Zbl 1141.62030号 [83] Yurtsever，A.、Tran-Dinh，Q.和Cevher，V.，《通用的原-对偶凸优化框架》，《第28届神经信息处理系统国际会议论文集》，2015年第2卷，第3150-3158页。 [84] 赵，R.，凹凸鞍点问题的加速随机算法，数学。操作。决议，47（2022），第1443-1473页·Zbl 1489.90130号 [85] Zhao，R.，Haskell，W.B.，and Tan，V.Y.，《随机三元复合优化的优化算法》，载《第22届国际人工智能与统计会议论文集》，PMLR，2019年，第428-437页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。