×
达伍德·哈吉内扎德;洪明毅

非凸非光滑优化问题的扰动近似原对偶算法。 （英语） Zbl 1426.90206号

数学。程序。 176，编号1-2（B），207-245（2019）.
摘要：本文针对一类重要的线性约束优化问题，提出了一种扰动近端原对偶算法（PProx-PDA），其目标是光滑（可能非凸）和凸（可能非光滑）函数之和。这一系列问题可用于建模许多统计和工程应用，如高维子空间估计和分布式机器学习。所提出的方法是Uzawa型，其中先执行原始梯度下降步骤，然后执行（近似）双重梯度上升步骤。该算法的一个显著特点是，使用过去的迭代对原始和对偶步骤都进行了适当的扰动，从而可以获得一些渐近收敛性和收敛速度结果（到一阶平稳解）。最后，我们进行了大量的数值实验来验证该算法的有效性。

引用于16文件

MSC公司：

90C26型 非凸规划，全局优化

关键词：

非凸优化;非光滑优化;原对偶算法

软件：

阿尔根坎
PDF格式BibTeX公司 XML格式引用
\textit{D.Hajinezhad}和\textit{M.Hong}，数学。程序。176，编号1--2（B），207--245（2019；Zbl 1426.90206）
全文： 内政部

参考文献：

[1] Allen-Zhu，Z.，Hazan，E.：方差减少，以实现更快的非凸优化。摘自：第33届国际机器学习会议记录，ICML，第699-707页（2016）
[2] Ames，B.，Hong，M.：用于l1惩罚零方差判别分析和主成分分析的交替方向乘数法。计算。最佳方案。申请。64(3), 725-754 (2016) ·Zbl 1352.90072号
[3] Andreani，R.，Haeser，G.，Martnez，J.M.：关于光滑约束优化的序列最优性条件。优化60（5），627-641（2011）·Zbl 1225.90123号
[4] Antoniadis，A.，Gijbels，I.，Nikolova，M.：具有非二次惩罚的广义线性模型的惩罚似然回归。Ann.Inst.Stat.数学。63(3), 585-615 (2009) ·Zbl 1333.62113号
[5] Arrow，K.J.，Hurwicz，L.，Uzawa，H.：线性和非线性规划研究。斯坦福大学出版社，Palo Alto（1958）·Zbl 0091.16002号
[6] Asteris，M.，Papailiopoulos，D.，Dimakis，A.：具有可证明保证的非负稀疏PCA。摘自：《第31届国际机器学习会议论文集》，第32卷，第1728-1736页（2014）
[7] Aybat，N.S.，Hamedani，E.Y.：圆锥约束分布式优化问题的原对偶方法。高级神经信息处理。系统。（NIPS）5049-5057（2016）
[8] Bertsekas，D.P.：约束优化和拉格朗日乘子法。剑桥大学学术出版社（1982）·Zbl 0572.90067号
[9] Bertsekas，D.P.，Tsitsiklis，J.N.：神经动力学编程。雅典娜科学，贝尔蒙特（1996）·Zbl 0924.68163号
[10] Bertsekas，D.P.，Tsitsiklis，J.N.：并行和分布式计算：数值方法，第2版。雅典娜科学，贝尔蒙特（1997）·Zbl 0743.65107号
[11] Bianchi，P.，Jakubowicz，J.：用于非凸优化的多智能体投影随机梯度算法的收敛性。IEEE传输。自动。控制58（2），391-405（2013）·Zbl 1369.90131号
[12] Birgin，E.，Martínez，J.：约束优化的实用增广拉格朗日方法。费城工业与应用数学学会（2014）·Zbl 1339.90312号
[13] Björnson，E.，Jorswieck，E.：协调多单元系统中的最佳资源分配。已找到。流行趋势。Inf.Theory 9，113-381（2013）·兹比尔1260.94003
[14] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.、Eckstein，J.：通过交替方向乘数法进行分布式优化和统计学习。已找到。趋势马赫数。学习。3(1), 1-122 (2011) ·兹比尔1229.90122
[15] Burachik，R.S.，Kaya，C.Y.，Mammadov，M.：非凸优化的不精确修正次梯度算法。计算。最佳方案。申请。45(1), 1-24 (2008) ·Zbl 1208.90137号
[16] Chung，F.R.K.：谱图理论。美国数学学会，普罗维登斯（1997）·Zbl 0867.05046号
[17] Cressie，N.：空间数据统计。霍博肯·威利（2015）·Zbl 1347.62005年
[18] Curtis，F.E.，Gould，N.I.M.，Jiang，H.，Robinson，D.P.：自适应增广拉格朗日方法：算法和实际数值经验。最佳方案。方法软件。31(1), 157-186 (2016) ·Zbl 1339.49023号
[19] D'Aspremont，A.，Ghaoui，L.E.，Jordan，M.I.，Lanckriet，G.R.G.：使用半定规划的稀疏PCA直接公式。SIAM版本49（3），434-448（2007）·邮编1128.90050
[20] 邓伟，尹伟：关于乘数的广义交替方向法的全局收敛性和线性收敛性。科学杂志。计算。66(3), 889-916 (2016) ·Zbl 1379.65036号
[21] Dutta，J.、Deb，K.、Tulshyan，R.、Arora，R.：终止的近似KKT点和接近度。J.全球。最佳方案。56(4), 1463-1499 (2013) ·Zbl 1297.90150号
[22] Fan，J.，Li，R.：通过非冲突惩罚似然及其预言属性进行变量选择。《美国统计协会期刊》96（456），1348-1360（2001）·Zbl 1073.62547号
[23] Fernández，D.，Solodov，M.V.：精确和不精确增广拉格朗日方法在二阶充分最优性条件下的局部收敛性。SIAM J.Optim公司。22(2), 384-407 (2012) ·Zbl 1259.90132号
[24] Fleiss，J.L.，Levin，B.，Paik，M.C.：费率和比例的统计方法。霍博肯·威利（2003）·Zbl 1034.62113号
[25] Forero，P.A.、Cano，A.、Giannakis，G.B.：使用无线传感器网络的分布式集群。IEEE J.选择。顶部。信号处理。5(4), 707-724 (2011)
[26] Gabay，D.，Mercier，B.：通过有限元近似求解非线性变分问题的对偶算法。计算。数学。申请。2, 17-40 (1976) ·Zbl 0352.65034号
[27] Giannakis，G.B.，Ling，Q.，Mateos，G.，Schizas，I.D.，Zhu，H.：无线通信和网络的分散式学习。In：通信和成像中的分割方法。施普林格，纽约（2015）·Zbl 1420.68168号
[28] Glowinski，R.，Marroco，A.：Sur l’approximation，paréments finish d’ordre un，et la Résolution，parñalisation qualityéd une class de dirichlet nonéares。Revue Frankaise d’Automatique，Informatique et Recherche Opirationelle 9，41-76（1975）·Zbl 0368.65053号
[29] Gu，Q.，Z.Wang，Z.，Liu，H.：具有oracle属性的稀疏PCA。摘自：《第27届神经信息处理系统国际会议论文集》，第1529-1537页（2014）
[30] Haeser，G.，Melo，V.：关于光滑约束优化的序列最优性条件。预印本（2013）
[31] Hajinezhad，D.，Chang，T.H.，Wang，X.，Shi，Q.，Hong，M.：使用ADMM的非负矩阵分解：算法和收敛性分析。摘自：IEEE声学、语音和信号处理国际会议（ICASSP），第4742-4746页（2016年）
[32] Hajinezhad，D.，Hong，M.：分布式稀疏主成分分析的非凸交替方向乘数法。收录：IEEE信号和信息处理全球会议（GlobalSIP）。IEEE（2015）
[33] Hajinezhad，D.，Hong，M.，Garcia，A.：网络上的零阶非凸多智能体优化。arXiv预印arXiv:1710.09997（2017）·Zbl 1482.90170号
[34] Hajinezhad，D.，Hong，M.，Zhao，T.，Wang，Z.：NESTT：用于分布式和随机优化的非凸原始-对偶分裂方法。摘自：《神经信息处理系统进展》，第3215-3223页（2016年）
[35] Hajinezhad，D.，Shi，Q.：一类非凸双线性优化的交替方向乘子法：收敛性分析和应用。J.全球。最佳方案。70, 1-28 (2018) ·Zbl 1393.90094号
[36] Hamdi，A.，Mishra，S.K.：基于增广拉格朗日函数的分解方法：综述，第175-203页。施普林格，纽约（2011）·Zbl 1247.90249号
[37] Hestenes，M.R.：乘数法和梯度法。J.优化。申请。4, 303-320 (1969) ·Zbl 0174.20705号
[38] Hong，M.，Hajinezhad，D.，Zhao，M.M.：Prox-PDA：用于快速分布式非凸优化和网络学习的近端原对偶算法。在：《第34届国际机器学习大会论文集》（70），第1529-1538页（2017）
[39] Hong，M.，Luo，Z.Q.：关于交替方向乘数法的线性收敛性。数学。程序。162(1), 165-199 (2017) ·Zbl 1362.90313号
[40] Hong，M.，Luo，Z.Q.，Razaviyayn，M.：一类非凸问题交替方向乘数法的收敛性分析。SIAM J.Optim公司。26(1), 337-364 (2016) ·Zbl 1356.49061号
[41] Houska，B.，Frasch，J.，Diehl，M.：基于增广拉格朗日算法的分布式非凸优化。SIAM J.Optim公司。26(2), 1101-1127 (2016) ·Zbl 1345.90069号
[42] Koppel，A.，Sadler，B.M.，Ribeiro，A.：在线多智能体优化中没有共识的接近性。摘自：IEEE声学、语音和信号处理国际会议（ICASSP），第3726-3730页（2016年）
[43] Koshal，J.，Nedić，A.，Shanbhag，Y.V.：多用户优化：分布式算法和错误分析。SIAM J.Optim公司。21(3), 1046-1081 (2011) ·Zbl 1252.90064号
[44] Lan，G.，Monteiro，R.D.C.：凸规划的一阶增广拉格朗日方法的迭代复杂性。数学。程序。155(1), 511-547 (2015) ·兹比尔1348.90654
[45] Li，G.，Pong，T.K.：非凸组合优化分裂方法的全局收敛性。SIAM J.Optim公司。25(4), 2434-2460 (2015) ·Zbl 1330.90087号
[46] Liao，W.，Hong，M.，Farmanbar，H.，Luo，Z.：大型分层网络的半异步路由。摘自：IEEE声学、语音和信号处理国际会议（ICASSP），第2894-2898页（2015年）
[47] Liavas，A.P.，Sidiropoulos，N.D.：通过交替方向乘数法实现约束张量因式分解的并行算法。IEEE传输。信号处理。63(20), 5450-5463 (2015) ·Zbl 1394.94321号
[48] Liu，Y.F.，Liu，X.，Ma，S.：关于复合凸规划的不精确增广拉格朗日框架的非遍历收敛速度。arXiv预印arXiv:1603.05738（2016）
[49] Lobel，I.，Ozdaglar，A.：随机网络上凸优化的分布式次梯度方法。IEEE传输。自动。控制56（6），1291-1306（2011）·Zbl 1368.90125号
[50] Lorenzo，P.D.，Scutari，G.：下一步：网络内非凸优化。IEEE传输。网络上的信号信息处理。2(2), 120-136 (2016)
[51] Lu，Z.，Zhang，Y.：通过惩罚分解方法进行稀疏近似。SIAM J.Optim公司。23(4), 2448-2478 (2013) ·Zbl 1295.90056号
[52] Mateos，G.，Bazerque，J.A.，Giannakis，G.B.：分布式稀疏线性回归。IEEE传输。信号处理。58(10), 5262-5276 (2010) ·Zbl 1391.62133号
[53] Max Lenow Goncalves，J.G.M.，Monteiro，R.D.：求解非凸线性约束问题的具有超松弛步长参数的近似ADMM的收敛速度界（2017）。预印arXiv:1702.01850
[54] Nedić，A.，Olshevsky，A.：时变有向图的分布式优化。IEEE传输。自动。控制60（3），601-615（2015）·Zbl 1360.90262号
[55] Nedić，A.，Ozdaglar，A.：多智能体优化的分布式次梯度方法。IEEE传输。自动。控制54（1），48-61（2009）·Zbl 1367.90086号
[56] Nedić，A.，Ozdaglar，A.，Parrilo，P.A.：多智能体网络中的约束共识和优化。IEEE传输。自动。控制55（4），922-938（2010）·Zbl 1368.90143号
[57] Nesterov，Y.：凸优化入门讲座：基础课程。施普林格，柏林（2004）·Zbl 1086.90045号
[58] Nocedal，J.、Wright，S.J.：数值优化。柏林施普林格（1999）·Zbl 0930.65067号
[59] Powell，M.M.D.：最小化问题中非线性约束的有效方法。In：优化。学术出版社，第283-298页（1969年）·Zbl 0194.47701号
[60] Razaviyayn，M.、Hong，M.，Luo，Z.Q.：非光滑优化的块逐次极小化方法的统一收敛性分析。SIAM J.Optim公司。23(2), 1126-1153 (2013) ·Zbl 1273.90123号
[61] Rockafellar，R.T.：增广拉格朗日和近点算法在凸规划中的应用。数学。操作。第1（2）号决议，97-116（1976）·Zbl 0402.90076号
[62] Ruszczyński，A.：非线性优化。普林斯顿大学，普林斯顿（2011）·Zbl 1108.90001号
[63] Schizas，I.、Ribeiro，A.、Giannakis，G.：具有噪声链路的特设无线传感器网络中的共识——第一部分：确定性信号的分布式估计。IEEE传输。信号处理。56(1), 350-364 (2008) ·Zbl 1390.94395号
[64] Scutari，G.，Facchinei，F.，Song，P.，Palomar，D.P.，Pang，J.S.：部分线性化分解：多智能体系统的并行优化。IEEE传输。信号处理。63(3), 641-656 (2014) ·Zbl 1394.94507号
[65] Shi，W.，Ling，Q.，Wu，G.，Yin，W.：EXTRA：分散一致性优化的精确一阶算法。SIAM J.Optim公司。25(2), 944-966 (2014) ·Zbl 1328.90107号
[66] Sun，Y.，Scutari，G.，Palomar，D.：时变网络上的分布式非凸多智能体优化。摘自：第50届Asilomar信号、系统和计算机会议，第788-794页（2016年）
[67] Tsitsiklis，J.：分散决策和计算中的问题。麻省理工学院博士论文（1984年）
[68] Vu，V.Q.，Cho，J.，Lei，J.和Rohe，K.：范托普投影和选择：稀疏PCA的近最优凸松弛。摘自：《神经信息处理系统进展》，第2670-2678页（2013年）
[69] Wang，Y.，Yin，W.，Zeng，J.：非凸非光滑优化中ADMM的全局收敛性。科学杂志。计算。78(1), 29-63 (2019) ·Zbl 1462.65072号
[70] Wright，S.J.：实现线性规划的近点方法。J.优化。理论应用。65(3), 531-554 (1990) ·Zbl 0676.90042号
[71] Wen，Z.，Yang，C.，Liu，X.，Marchesini，S.：经典和心电相位恢复的交替方向方法。反向探测。28(11), 1-18 (2012) ·Zbl 1254.78037号
[72] Yildiz，M.E.，Scaglione，A.：使用边信息进行编码，以实现速率约束共识。IEEE传输。信号处理。56(8), 3753-3764 (2008) ·Zbl 1390.94710号
[73] Zhang，C.H.：极小极大凹惩罚下的几乎无偏变量选择。Ann.Stat.38（2），894-942（2010）·Zbl 1183.62120号
[74] Zhang，Y.：鞍点问题的一类平稳迭代方法的收敛性。预印本（2010年）
[75] Zhu，H.，Cano，A.，Giannakis，G.：分布式基于共识的解调：算法和错误分析。IEEE传输。Wirel公司。Commun公司。9(6), 2044-2054 (2010)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。