×

具有广义正交约束的非凸非光滑优化:一种近似增广拉格朗日方法。 (英语) Zbl 1373.65043号

基于增广拉格朗日格式和增广近端交替线性化极小化方法,提出了一种近似增广拉格朗日方法,用于求解一类具有广义正交约束的非凸非光滑问题。证明了该方法的全局收敛性。数值实验结果表明了该算法的有效性。

MSC公司:

65千5 数值数学规划方法
90C26型 非凸规划,全局优化
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Abrudan,T.,Eriksson,J.,Koivunen,V.:酉矩阵约束下优化的最速下降算法。IEEE传输。信号处理。56(3), 1134-1147 (2008) ·Zbl 1390.90510号 ·doi:10.1109/TSP.2007.908999
[2] Abrudan,T.,Eriksson,J.,Koivunen,V.:酉矩阵约束下优化的共轭梯度算法。信号处理。89(9),1704-1714(2009)·Zbl 1178.94048号 ·doi:10.1016/j.sigpro.2009.03.015
[3] Absil,P.A.,Mahony,R.,Sepulchre,R.:矩阵流形上的优化算法。普林斯顿大学出版社,普林斯顿(2009)·Zbl 1147.65043号
[4] Andreani,R.,Birgin,E.G.,Martínez,J.M.,Schuverdt,M.L.:关于一般低层约束的增广拉格朗日方法。SIAM J.Optim公司。18(4), 1286-1309 (2007) ·Zbl 1151.49027号 ·数字对象标识代码:10.1137/060654797
[5] Attouch,H.,Bolt,J.,Redont,P.,Soubeyran,A.:非凸问题的近似交替最小化和投影方法:基于kurdyka-lojasiewicz不等式的方法。数学。操作。第35(2)号决议,438-457(2010年)·Zbl 1214.65036号 ·doi:10.1287/门.1100.0449
[6] Attouch,H.,Bolt,J.,Svaiter,B.F.:半代数和驯化问题下降方法的收敛性:近似算法,前向-后向分裂和正则高斯-侧面方法。数学。程序。137(1-2),91-129(2013)·Zbl 1260.49048号 ·doi:10.1007/s10107-011-0484-9
[7] Bertsekas,D.P.:约束优化和拉格朗日乘子方法。伦敦学术出版社(1982)·Zbl 0572.90067号
[8] Bertsekas,D.P.:非线性规划。Athena Scientific,贝尔蒙特(1999)·Zbl 1015.90077号
[9] Bolt,J.,Sabach,S.,Teboulle,M.:非凸和非光滑问题的近似交替线性化最小化。数学。程序。146(1-2), 459-494 (2014) ·Zbl 1297.90125号 ·doi:10.1007/s10107-013-0701-9
[10] Bradley,A.P.:机器学习算法评估中ROC曲线下面积的使用。模式识别器。30(7), 1145-1159 (1997) ·doi:10.1016/S0031-3203(96)00142-2
[11] Chen,W.:球面上的小波框架,高角度分辨率扩散成像和stiefel流形上的l_1正则优化。新加坡国立大学博士论文(2015)·Zbl 1330.90087号
[12] Chen,W.,Ji,H.,You,Y.:\[\ell_1\]的增广拉格朗日方法具有正交约束的1-正则优化问题。SIAM J.科学。计算。38(4),B570-B592(2016)·Zbl 1386.65160号 ·doi:10.1137/140988875
[13] Chu,D.,Liao,L.Z.,Ng,M.K.,Zhang,X.:稀疏典型相关分析:新公式和算法。IEEE传输。模式分析。机器。因特尔。35(12), 3050-3065 (2013) ·doi:10.1109/TPAMI.2013.104
[14] Chu,M.T.,Trendafilov,N.T.:重新审视正交约束回归。J.计算。图表。Stat.10(4),746-771(2001)·doi:10.1198/106186001317243430
[15] Clarke,F.H.、Ledyaev,Y.S.、Stern,R.J.、Wolenski,P.R:《非光滑分析与控制理论》,第178卷。柏林施普林格出版社(2008)·1047.49500兹罗提
[16] Clemmensen,L.,Hastie,T.,Witten,D.,Ersböll,B.:稀疏判别分析。《技术计量学》53(4),406-413(2011)·Zbl 0928.6500号
[17] 杜达·R、哈特·P、斯托克·D:模式分类。威利,纽约(2000年)·兹伯利0968.68140
[18] Edelman,A.、Arias,T.A.、Smith,S.T.:具有正交约束的算法几何。SIAM J矩阵分析。申请。20(2), 303-353 (1998) ·Zbl 0928.6500号 ·doi:10.1137/S089547989529290954
[19] Fawcett,T.:ROC分析简介。模式识别器。莱特。27(8),861-874(2006)·Zbl 1106.74031号 ·doi:10.1016/j.patrec.2005.10.010
[20] Francisco,J.B.、Martínez,J.M.、Martánez、L.、Pisnitchenko,F.:电子结构计算中最小化问题的不精确恢复方法。计算。最佳方案。申请。50(3), 555-590 (2011) ·Zbl 1263.90090号 ·doi:10.1007/s10589-010-9318-6
[21] Grubišić,i.,Pietersz,R.:相关矩阵的有效秩约简。线性代数应用。422(2), 629-653 (2007) ·Zbl 1112.65036号
[22] Hardoon,D.R.,Shawe-Taylor,J.:稀疏典型相关分析。机器。学习。83(3), 331-353 (2011) ·Zbl 1237.68148号 ·doi:10.1007/s10994-10-5222-7
[23] Hestenes,M.R.:乘数法和梯度法。J.优化。理论应用。4(5), 303-320 (1969) ·Zbl 0174.20705号 ·doi:10.1007/BF00927673
[24] Hotelling,H.:两组变量之间的关系。生物特征28(3/4),321-377(1936)·Zbl 0015.40705号 ·doi:10.2307/2333955
[25] Howland,P.,Jeon,M.,Park,H.:基于广义奇异值分解的聚类文本数据的保结构降维。SIAM J.矩阵分析。申请。25, 165-179 (2003) ·Zbl 1061.68135号 ·doi:10.1137/S0895479801393666
[26] Jiang,B.,Dai,Y.H.:用于stiefel流形优化的约束保持更新方案框架。数学。程序。153(2),535-575(2015)·Zbl 1325.49037号 ·doi:10.1007/s10107-014-0816-7
[27] Koehn,P.:Europarl:统计机器翻译的并行语料库。摘自:《机器翻译峰会》,第5卷,第79-86页。Citeser(2005)·Zbl 1154.65340号
[28] Kokiopoulou,E.,Chen,J.,Saad,Y.:降维方法中的轨迹优化和特征问题。数字。线性代数应用。18(3), 565-602 (2011) ·Zbl 1249.65075号 ·doi:10.1002/nla.743
[29] Kovnatsky,A.,Glashoff,K.,Bronstein,M.M.:Madmm:流形上非光滑优化的通用算法。arXiv预印本arXiv:11505.07676(2015)·Zbl 1390.90510号
[30] Kurdyka,K.:关于可在o-极小结构中定义的函数的梯度。《傅里叶学会年鉴》48(3),769-783(1998)·Zbl 0934.32009 ·doi:10.5802/aif.1638
[31] Lai,R.,Osher,S.:正交约束问题的分裂方法。科学杂志。计算。58(2), 431-449 (2014) ·Zbl 1296.65087号 ·数字对象标识代码:10.1007/s10915-013-9740-x
[32] Li,G.,Pong,T.K.:非凸组合优化分裂方法的全局收敛性。SIAM J.Optim公司。25(4), 2434-2460 (2015) ·Zbl 1330.90087号 ·doi:10.137/140998135
[33] Lojasiewicz,S.:《资源集合分析报告》。《部分河流方程》第87-89页(1963年)
[34] Lu,Z.,Zhang,Y.:稀疏主成分分析的增广拉格朗日方法。数学。程序。135(1-2), 149-193 (2012) ·Zbl 1263.90093号 ·doi:10.1007/s10107-011-0452-4
[35] Merchante,L.,Grandvalet,Y.,Govaert,G.:稀疏线性判别分析的有效方法。附:第29届国际机器学习会议(2012年)预告·Zbl 0015.40705号
[36] Mordukhovich,B.S.:变分分析和广义微分I:基础理论,第330卷。柏林施普林格出版社(2006)
[37] Mordukhovich,B.S.,Shao,Y.:关于banach空间中的非凸次微分学。J.凸面分析。2(1/2), 211-227 (1995) ·兹伯利0838.49013
[38] 莫罗,J.J.:Proximitéet dualitédans un espace hilbertien。《法国社会数学公报》93、273-299(1965)·Zbl 0136.12101号 ·doi:10.24033/bsmf.1625
[39] Nishimori,Y.,Akaho,S.:利用stiefel流形上的拟测地线流的学习算法。神经计算67,106-135(2005)·doi:10.1016/j.neucom.2004.11.035
[40] Ozoliņsh,V.、Lai,R.、Caflisch,R.和Osher,S.:数学和物理中变分问题的压缩模式。程序。国家。阿卡德。科学。110(46), 18368-18373 (2013) ·Zbl 1292.81024号 ·doi:10.1073/pnas.1318679110
[41] Powell,M.J.:最小化问题中非线性约束的一种方法。UKAEA(1967)
[42] Rockafellar,R.T.:非凸规划中的增广拉格朗日乘子函数和对偶性。SIAM J.控制12(2),268-285(1974)·Zbl 0257.90046号 ·doi:10.1137/0312021
[43] Rockafellar,R.T.,Wets,R.J.B.:变分分析,第317卷。柏林施普林格出版社(2009)·Zbl 0888.49001号
[44] Savas,B.,Lim,L.H.:关于格拉斯曼和张量的多线性近似的拟牛顿方法。SIAM J.科学。计算。32(6), 3352-3393 (2010) ·Zbl 1226.65058号 ·doi:10.1137/090763172
[45] Sriperumbudur,B.K.,Torres,D.A.,Lanckriet,G.R.:稀疏广义特征值问题的优化最小化方法。机器。学习。85(1-2),3-39(2011)·Zbl 1237.65060号 ·doi:10.1007/s10994-010-5226-3
[46] Vinokourov,A.,Cristianini,N.,Shawe-Taylor,J.S.:通过跨语言相关性分析推断文本的语义表示。摘自:《神经信息处理系统的进展》,第1473-1480页(2002年)·Zbl 1341.90128号
[47] Voorhees,E.M.:第六届文本检索会议(trec-6)。Inf.流程。管理。36(1), 1-2 (2000) ·doi:10.1016/S0306-4573(99)00042-4
[48] Wang,Y.,Yin,W.,Zeng,J.:非凸非光滑优化中admm的全局收敛性。arXiv预印arXiv:1511.06324(2015)·Zbl 1462.65072号
[49] Wen,Z.,Yang,C.,Liu,X.,Zhang,Y.:大规模特征空间计算的迹效最小化。科学杂志。计算。66, 1175-1203 (2016) ·兹比尔1373.65026 ·doi:10.1007/s10915-015-0061-0
[50] Wen,Z.,Yin,W.:正交约束优化的可行方法。数学。程序。142(1-2), 397-434 (2013) ·Zbl 1281.49030号 ·doi:10.1007/s10107-012-0584-1
[51] Witten,D.M.,Tibshirani,R.,Hastie,T.:惩罚矩阵分解,应用于稀疏主成分和典型相关分析。生物统计学10(3),515-534(2009)·Zbl 1437.62658号 ·doi:10.1093/biostatistics/kxp008
[52] Yang,C.,Meza,J.C.,Wang,L.W.:Kohn-Sham方程的信赖域直接约束最小化算法。SIAM J.科学。计算。29(5), 1854-1875 (2007) ·Zbl 1154.65340号 ·电话:10.1137/060661442
[53] Yang,K.,Cai,Z.,Li,J.,Lin,G.:微阵列数据分析中的稳定基因选择。BMC生物信息。7(1), 228 (2006) ·doi:10.1186/1471-2105-7-228
[54] Ye,J.:关于欠采样问题的广义判别分析的一系列算法的特征。J.马赫。学习。第6(4)号决议,483-502(2005)·Zbl 1222.62081号
[55] Zhang,L.,Li,R.:stiefel流形上迹比之和的最大化,i:理论。科学。中国数学。57(12), 2495-2508 (2014) ·Zbl 1341.90128号 ·doi:10.1007/s11425-014-4824-0
[56] Zhang,L.,Li,R.:stiefel流形上迹比之和的最大化,ii:计算。科学。中国数学。58(7), 1549-1566 (2015) ·兹比尔1384.90102 ·doi:10.1007/s11425-014-4825-z
[57] Zhang,X.:稀疏维数约简方法:算法和应用。新加坡国立大学博士论文(2013)
[58] Zhang,X.,Chu,D.:稀疏不相关线性判别分析。摘自:《第三十届国际机器学习会议论文集》(ICML-13),第45-52页(2013)·Zbl 0136.12101号
[59] Zhang,X.,Chu,D.,Tan,R.C.:欠采样问题的稀疏不相关线性判别分析。IEEE传输。神经网络。学习。系统。27(7), 1469-1485 (2015) ·doi:10.1109/TNNLS.2015.2448637
[60] Zhao,Y.,Karypis,G.:文档聚类所选标准函数的经验和理论比较。马赫。学习。55(3), 311-331 (2004) ·Zbl 1089.68615号 ·doi:10.1023/B:MACH.0000027785.44527.d6
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。