陈世祥；马世谦；Man-Cho那么，Anthony；张彤 Stiefel流形上非光滑优化的近似梯度法。 （英语） Zbl 1434.90195号 SIAM J.Optim公司。 30，第1期，210-239（2020年）. 摘要：我们考虑Stiefel流形上的优化问题，其目标函数是光滑函数和非光滑函数的和。解决这类问题的现有方法可分为三类。第一类算法依赖于目标函数的次梯度信息，因此在实践中往往收敛缓慢。第二类算法是近点算法，涉及与原始问题一样困难的子问题。第三类算法基于算子分裂技术，但通常缺乏严格的收敛保证。在本文中，我们提出了一种基于收缩的近端梯度方法来解决这类问题。我们证明了该方法全局收敛到一个稳定点。还分析了获得ε平稳解的迭代复杂性。数值结果表明了该方法的优越性。 引用于三评论引用于32文件 MSC公司： 90立方 非线性规划 关键词：流形优化；斯蒂弗尔流形；非光滑的；近似梯度法；迭代复杂性；半光滑牛顿法；稀疏PCA；压缩模式 软件：马诺普特；马德姆；RTRMC公司；SDPNAL公司+ PDF格式BibTeX公司 XML格式引用 \textit{S.Chen}等人，SIAM J.Optim。30，编号1，210--239（2020；Zbl 1434.90195） 全文： 内政部 arXiv公司 参考文献： [1] T.E.Abrudan、J.Eriksson和V.Koivunen，酉矩阵约束下优化的最速下降算法，IEEE Trans。信号处理。，56（2008），第1134-1147页·兹比尔139090510 [2] T.E.Abrudan、J.Eriksson和V.Koivunen，酉矩阵约束下优化的共轭梯度算法，信号处理。，89（2009），第1704-1714页·兹比尔1178.94048 [3] P.-A.Absil和S.Hosseini，非光滑黎曼优化问题集，《非光滑优化及其应用》，国际。序列号。数字。数学。170，Birkha¨user/Springer，Cham，2019年，第1-15页·兹比尔1423.49012 [4] P.-A.Absil、R.Mahony和R.Sepulchre，矩阵流形上的优化算法，普林斯顿大学出版社，新泽西州普林斯顿，2009年·Zbl 1147.65043号 [5] P.-A.Absil和I.V.Oseledets，《低水位回缩：调查和新结果》，计算。最佳方案。申请。，62（2015），第5-29页·Zbl 1334.90202号 [6] M.Afonso、J.Bioucas-Dias和M.Figueiredo，使用可变分割和约束优化的快速图像恢复，IEEE Trans。图像处理。，19（2010年），第2345-2356页·兹比尔1371.94018 [7] H.Attouch、J.Bolt、P.Redont和A.Soubeyran，非凸问题的近似交替最小化和投影方法：基于Kurdyka-Łojasiewicz不等式的方法，数学。操作。研究，35（2010），第438-457页·Zbl 1214.65036号 [8] H.Attouch、Z.Chbani、J.Peypouquet和P.Redont，《惯性动力学和渐近消失粘性算法的快速收敛》，数学。程序。，168（2018），第123-175页·Zbl 1395.34068号 [9] M.Bačaík，R.Bergmann，G.Steidl，and a.Weinmann，用于恢复流形值图像的二阶非光滑变分模型，SIAM J.Sci。计算。，38（2016），第A567-A597页，https://doi.org/10.1137/15M101988X。 ·Zbl 1382.94007号 [10] T.Bendory、Y.C.Eldar和N.Boumal，《STFT测量的非凸相位恢复》，IEEE Trans。通知。《理论》，64（2018），第467-484页·Zbl 1390.94093号 [11] G.C.Bento、J.X.Cruz Neto和P.R.Oliveira，黎曼流形上非凸优化的不精确下降方法的收敛性，预印本，https://arxiv.org/abs/1103.4828v1, 2011. [12] G.C.Bento、J.X.Cruz Neto和P.R.Oliveira，近点方法的新方法：一般黎曼流形上的收敛，J.Optim。理论应用。，168（2016），第743-755页·Zbl 1338.49067号 [13] G.C.Bento、O.P.Ferreira和J.G.Melo，黎曼流形上梯度、次梯度和近点方法的迭代复杂性，J.Optim。理论应用。，173（2017），第548-562页·Zbl 1400.90277号 [14] R.L.Bishop和B.O'Neill，负曲率流形，Trans。阿默尔。数学。Soc.，145（1969），第1-49页·Zbl 0191.5202号 [15] J.Bolt、S.Sabach和M.Teboulle，非凸和非光滑问题的近似交替线性化最小化，数学。程序。，146（2014），第459-494页·Zbl 1297.90125号 [16] P.B.Borckmans、S.Easter Selvan、N.Boumal和P.-A.Absil，具有阀点效应的经济调度的黎曼次梯度算法，J.Compute。申请。数学。，255（2014），第848-866页·Zbl 1296.91222号 [17] N.Boumal，非凸相位同步，SIAM J.Optim。，26（2016），第2355-2377页，https://doi.org/10.1137/16M105808X。 ·兹比尔1356.90111 [18] N.Boumal和P.-A.Absil，《RTRMC：低秩矩阵完成的黎曼信任区域方法》，NIPS’24，2011年，第406-414页。 [19] N.Boumal、P.-A.Absil和C.Cartis，流形上非凸优化的全局收敛速度，IMA J.Numer。分析。，39（2019），第1-33页·Zbl 1483.65092号 [20] N.Boumal、B.Mishra、P.-A.Absil和R.Sepulchre，MANOPT，一个用于流形优化的MATLAB工具箱，J.Mach。学习。Res.，15（2014），第1455-1459页·Zbl 1319.90003号 [21] S.Boyd、N.Parikh、E.Chu、B.Peleato和J.Eckstein，通过乘数交替方向方法进行分布式优化和统计学习，Found。趋势马赫数。学习。，3（2011年），第1-122页·Zbl 1229.90122号 [22] W.Chen，H.Ji，Y.You，带正交约束的（ell_1）正则优化问题的增广拉格朗日方法，SIAM J.Sci。计算。，38（2016），第B570-B592页，https://doi.org/10.1137/140988875。 ·Zbl 1386.65160号 [23] A.Cherian和S.Sra，正定矩阵的黎曼字典学习和稀疏编码，IEEE Trans。神经网络与学习系统。，28（2017），第2859-2871页。 [24] P.L.Combettes和J.-C.Pesquet，非光滑凸变分信号恢复的Douglas-Rachford分裂方法，IEEE J.选定主题信号处理。，1（2007年），第564-574页。 [25] A.d'Aspremont、L.El Ghaoui、M.I.Jordan和G.R.G.Lanckriet，《使用半定规划的稀疏PCA直接公式》，SIAM Rev.，49（2007），第434-448页，https://doi.org/10.1137/050645506。 ·邮编1128.90050 [26] G.Dirr、U.Helmke和C.Lageman，非线性控制的拉格朗日和哈密顿方法中的非光滑黎曼优化及其在球体填充和抓取中的应用，Lect。票据控制信息科学。366，柏林施普林格出版社，2007年，第28-45页·Zbl 1151.53029号 [27] J.Eckstein，《单调算子的分裂方法及其在并行优化中的应用》，麻省理工学院博士论文，1989年。 [28] A.Edelman、T.A.Arias和S.T.Smith，具有正交约束的算法几何，SIAM J.矩阵分析。申请。，20（1998），第303-353页，https://doi.org/10.1137/S0895479895290954。 ·Zbl 0928.6500号 [29] F.Facchinei和J.Pang，有限维变分不等式和互补问题，Springer科学与商业媒体，2007年·Zbl 1062.90002号 [30] O.P.Ferreira和P.R.Oliveira，黎曼流形上的次梯度算法，J.Optim。理论应用。，97（1998），第93-104页·Zbl 0907.90244号 [31] O.P.Ferreira和P.R.Oliveira，黎曼流形上的邻近点算法，优化，51（2002），第257-270页·Zbl 1013.49024号 [32] M.Fortin和R.Glowinski，《增广拉格朗日方法：在边值问题数值解中的应用》，北荷兰，阿姆斯特丹，1983年·Zbl 0525.65045号 [33] D.Gabay和B.Mercier，通过有限元近似解非线性变分问题的对偶算法，计算。数学。申请。，2（1976年），第17-40页·Zbl 0352.65034号 [34] M.Genicot、W.Huang和N.T.Trendafilov，《计算讲义》中的弱相关稀疏分量与近似正态载荷。科学。9389，Springer，Cham，2015年，第484-490页·Zbl 1406.94012号 [35] R.Glowinski和P.Le Tallec，非线性力学中的增广拉格朗日和算子分裂方法，SIAM，费城，1989，https://doi.org/10.1137/1.9781611970838。 ·Zbl 0698.73001号 [36] R.Glowinski和A.Marrocco，《Sur l’A approximation》，《par e⁄leíments finis d’ordre un》，《et la reísolution》，par pe⁄nalisation-qualite⁄d’une classe de problèmes de dirichlet non-line-aires，Rev.Française Automation。通知。重新审查运营理由。《胭脂分析》。努姆河。，9（1975年），第41-76页·Zbl 0368.65053号 [37] T.Goldstein和S.Osher，《L1正则化问题的分裂Bregman方法》，SIAM J.成像科学。，2（2009），第323-343页，https://doi.org/10.1137/080725891。 ·Zbl 1177.65088号 [38] G.H.Golub和C.F.Van Loan，《矩阵计算》，约翰霍普金斯大学出版社，马里兰州巴尔的摩，2012年·Zbl 1268.65037号 [39] P.Grohs和S.Hosseini，黎曼流形上局部Lipschitz函数的非光滑信赖域算法，IMA J.Numer。分析。，36（2016），第1167-1192页·Zbl 1433.90124号 [40] P.Grohs和S.Hosseini，（varepsilon）-黎曼流形上局部Lipschitz函数的次梯度算法，高级计算。数学。，42（2016），第333-360页·兹比尔1338.49029 [41] J.-B.Hiriart-Urruti，J.-J.Strodiot，V.H.Nguyen，广义Hessian矩阵和具有（C^{1,1}）数据问题的二阶最优性条件，应用。数学。最佳。，11（1984年），第43-56页·Zbl 0542.49011号 [42] S.Hosseini，通过Kurdyka-Łojasiewicz不等式在黎曼流形上收敛非光滑下降方法，技术报告，德国波恩大学豪斯多夫数学中心和数值模拟研究所，2015年。 [43] S.Hosseini，W.Huang和R.Yousefpour，黎曼流形上局部Lipschitz函数的线搜索算法，SIAM J.Optim。，28（2018），第596-619页，https://doi.org/10.1137/16M1108145。 ·Zbl 1387.49019号 [44] S.Hosseini和M.R.Pouryayevali，黎曼流形中epi-Lipschitz集的广义梯度和特征，非线性分析。，72（2011），第3884-3895页·Zbl 1225.49046号 [45] S.Hosseini和A.Uschmajew，流形非光滑优化的黎曼梯度采样算法，SIAM J.Optim。，27（2017），第173-189页，https://doi.org/10.1137/16M1069298。 ·Zbl 1357.49062号 [46] H.Hotelling，《将复杂的统计变量分析为主要成分》，J.Educ。《心理学》，24（1933），第417-441页·JFM 59.1182.04号文件 [47] W.Huang和P.Hand，商流形上基于最速下降算法的盲反褶积，SIAM J.成像科学。，11（2018），第2757-2785页，https://doi.org/10.1137/17M1151390。 ·兹比尔1425.65069 [48] B.Jiang和Y.-H.Dai，Stiefel流形优化的约束保持更新方案框架，数学。程序。，153（2015），第535-575页·兹比尔1325.49037 [49] B.Jiang，S.Ma，A.M.-C.So，and S.Zhang，《黎曼优化的无向量传输SVRG（带广义收缩）：复杂性分析与实际实现》，预印本，https://arxiv.org/abs/1705.09059v1, 2017. [50] I.Jolliffe、N.Trendafilov和M.Uddin，基于套索的改进主成分技术，J.Comput。图表。统计人员。，12（2003年），第531-547页。 [51] M.Journee、Y.Nesterov、P.Richtarik和R.Sepulchre，稀疏主成分分析的广义幂法，J.Mach。学习。第11号决议（2010年），第517-553页·兹比尔1242.62048 [52] A.Kovnatsky、K.Glashoff和M.M.Bronstein，MADMM:流形非光滑优化的通用算法，欧洲计算机视觉会议，Springer，2016年，第680-696页。 [53] R.Lai和S.Osher，正交约束问题的分裂方法，科学杂志。计算。，58（2014），第431-449页·Zbl 1296.65087号 [54] X.Li，D.Sun，和K.-C.Toh，求解套索问题的高效半光滑牛顿增广拉格朗日方法，SIAM J.Optim。，28（2018），第433-458页，https://doi.org/10.1137/16M1097572。 ·Zbl 1392.65062号 [55] P.L.Lions和B.Mercier，两个非线性算子之和的分裂算法，SIAM J.Numer。分析。，16（1979年），第964-979页，https://doi.org/10.1137/0716071。 ·Zbl 0426.6500号 [56] H.Liu、A.M.-C.So和W.W.Wu，正交约束二次优化：基于收缩的线搜索和随机方差减少梯度方法的显式Łojasiewicz指数和线性收敛性，数学。程序。，178（2019），第215-262页，https://doi.org/10.1007/s10107-018-1285-1。 ·Zbl 1433.65111号 [57] 刘浩、岳明珠、苏明珠，关于相位同步广义功率法的估计性能和收敛速度，SIAM J.Optim。，27（2017），第2426-2446页，https://doi.org/10.1137/16M110109X。 ·Zbl 1387.90199号 [58] 马绍良，稀疏主成分分析乘数的交替方向法，J.Oper。《中国研究社会》，第1期（2013年），第253-274页·Zbl 1336.62160号 [59] J.R.Magnus和H.Neudecker，《矩阵微分学在统计学和计量经济学中的应用》，《概率和数理统计中的威利级数》，1988年·Zbl 0651.15001号 [60] R.Mifflin，约束优化中的半光滑和半凸函数，SIAM J.控制优化。，15（1977年），第959-972页，https://doi.org/10.1137/0315061。 ·Zbl 0376.90081号 [61] Y.Nishimori和S.Akaho，利用Stiefel流形上的拟测地流的学习算法，Neurocomput。，67（2005），第106-135页。 [62] V.Ozolin，R.Lai，R.Caflisch和s.Osher，数学和物理变分问题的压缩模式，Proc。国家。阿卡德。科学。美国，110（2013），第18368-18373页·Zbl 1292.81024号 [63] K.Pearson，LIII。在最接近空间点系统的直线和平面上，伦敦-爱丁堡-都柏林-菲洛斯。科学杂志。，2（1901年），第559-572页·JFM 32.0246.07号文件 [64] H.Qi和D.Sun，H加权最近相关矩阵问题的增广拉格朗日对偶方法，IMA J.Numer。分析。，31（2011），第491-511页·Zbl 1218.65061号 [65] 李琦（L.Qi）和孙（J.Sun），牛顿方法的非光滑版本，数学。程序。，58（1993），第353-367页·Zbl 0780.90090号 [66] R.Rockafellar和R.J.-B.Wets，变异分析，Springer科学与商业媒体，2009年·Zbl 0888.49001号 [67] B.Savas和L.-H.Lim，关于Grassmannian和张量的多线性近似的拟Newton方法，SIAM J.Sci。计算。，32（2010），第3352-3393页，https://doi.org/10.1137/090763172。 ·Zbl 1226.65058号 [68] O.Shamir，具有指数收敛速度的随机PCA和SVD算法，载于ICML’15，JMLR.org，2015年，第144-152页。 [69] O.Shamir，SVD和PCA的快速随机算法：收敛性和凸性，载于ICML’16，JMLR.org，2016年，第248-256页。 [70] 沈浩，黄振中，基于正则化低秩矩阵逼近的稀疏主成分分析，多元分析。，99（2008），第1015-1034页·Zbl 1141.62049号 [71] M.V.Solodov和B.F.Svaiter，《单调方程组的全局收敛不精确牛顿方法》，载于《重整：非光滑、分段光滑、半光滑和光滑方法》，Springer，纽约，1998年，第355-369页·Zbl 0928.65059号 [72] J.Sun、Q.Qu和J.Wright，《球面上的完整字典恢复I：概述和几何图形》，IEEE Trans。通知。《理论》，63（2017），第853-884页·Zbl 1364.94164号 [73] J.Sun、Q.Qu和J.Wright，相位恢复的几何分析，Found。计算。数学。，18（2018），第1131-1198页·Zbl 1401.94049号 [74] J.Tang和H.Liu，链接社交媒体数据的无监督特征选择，载于SIGKDD，ACM，纽约，2012年，第904-912页。 [75] M.Ulbrich，函数空间中变分不等式和约束优化问题的半光滑牛顿方法，MOS-SIAM Ser。最佳方案。2011年11月，费城SIAM，https://doi.org/10.1137/1.9781611970692.fm。 ·Zbl 1235.49001号 [76] B.Vandereycken，通过黎曼优化完成低秩矩阵，SIAM J.Optim。，23（2013），第1214-1236页，https://doi.org/10.1137/10845768。 ·Zbl 1277.15021号 [77] C.Wang、D.Sun和K.-C.Toh，用Newton-CG原始近点算法解决对数确定性优化问题，SIAM J.Optim。，20（2010），第2994-3013页，https://doi.org/10.1137/090772514。 ·兹比尔1211.90130 [78] 王毅，尹文伟，曾俊华，非凸非光滑优化中ADMM的全局收敛性，科学学报。计算。，78（2019年），第29-63页·兹比尔1462.65072 [79] Z.Wen和W.Yin，正交约束优化的可行方法，数学。程序。，142（2013），第397-434页·兹比尔1281.49030 [80] X.Xiao，Y.Li，Z.Wen，L.Zhang，复合凸规划的带投影步长的正则化半光滑牛顿法，J.Sci。计算。，76（2018），第364-389页·Zbl 1394.90534号 [81] J.Yang、D.Sun和K.-C.Toh，带群Lasso正则化的对数确定性优化的近点算法，SIAM J.Optim。，23（2013），第857-893页，https://doi.org/10.1137/120864192。 ·Zbl 1285.65037号 [82] 杨荣文，尹文英，张永勇，王永勇，保边变分多通道图像恢复的快速算法，SIAM J.Imaging Sci。，2（2009年），第569-592页，https://doi.org/10.1137/080730421。 ·Zbl 1181.68304号 [83] L.Yang，D.Sun，and K.-C.Toh，SDPNAL+：非负约束半定规划的优化半光滑Newton-CG增广拉格朗日方法，数学。程序。计算。，7（2015），第331-366页·Zbl 1321.90085号 [84] 杨文华，张丽华，宋瑞敏，黎曼流形上非线性规划问题的最优性条件，太平洋J·Optim。，10（2014年），第415-434页·Zbl 1322.90096号 [85] 杨彦、沈洪宏、马振中、黄振中、周小川，（\ell_{2,1}）-非监督学习中的规范正则化鉴别特征选择，载《国际计算机学会》第11卷第2期，AAAI出版社，2011年，第1589-1594页。 [86] 张春海，极小极大凹罚下的几乎无偏变量选择，安统计学家。，38（2010），第894-942页·Zbl 1183.62120号 [87] H.Zhang、S.Reddi和S.Sra，黎曼流形上的快速随机优化，收录于NIPS’16，Curran Associates，2016年，第4599-4607页。 [88] H.Zhang和S.Sra，大地凸优化的一阶方法，Proc。机器。学习。Res.，49（2016），第1617-1638页。 [89] J.Zhang，S.Ma，and S.Zhang.黎曼流形上的原对偶优化算法：迭代复杂性分析，数学。程序。，(2019), https://doi.org/10.1007/s10107-019-01418-8。 ·Zbl 1469.90165号 [90] Y.Zhang、Y.Lau、H.-W.Kuo、S.Cheung、A.Pasupathy和J.Wright，《球约束稀疏盲反褶积的全球几何》，载于CVPR，IEEE，2017年，第4894-4902页。 [91] X.-Y.Zhao，D.Sun，K.-C.Toh，半定规划的Newton-CG增广拉格朗日方法，SIAM J.Optim。，20（2010），第1737-1765页，https://doi.org/10.1137/080718206。 ·Zbl 1213.90175号 [92] G.Zhou和K.-C.Toh，单调方程Newton型算法的超线性收敛性，J.Optim。理论应用。，125（2005），第205-221页·Zbl 1114.65055号 [93] H.Zhu、X.Zhang、D.Chu和L.Liao，广义正交约束下的非凸和非光滑优化：一种近似增广拉格朗日方法，J.Sci。计算。，72（2017），第331-372页·兹比尔1373.65043 [94] H.Zou、T.Hastie和R.Tibshirani，稀疏主成分分析，J.Compute。图表。统计人员。，15（2006年），第265-286页。 [95] H.Zou和L.Xue，稀疏主成分分析的选择性综述，Proc。IEEE，106（2018），第1311-1320页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。