×

一种新的正交约束优化问题的一阶算法框架。 (英语) Zbl 1382.65171号

摘要:在本文中,我们考虑了一类具有正交性约束的优化问题,其可行域称为Stiefel流形。我们的新框架将函数值约简步骤与校正步骤结合在一起。与现有方法不同,我们算法框架的函数值约简步骤是沿标准欧氏下降方向搜索,而不是沿Stiefel流形切线空间中的向量搜索,并且校正步骤进一步减少了函数值,同时保证了对称对偶变量。基于这个新框架,我们构造了两类算法。第一类是基于梯度约简的算法,包括梯度反射(GR)和梯度投影(GP)算法。另一种方法采用了列式块坐标下降(CBCD)方案,并采用了一种新的思路来不精确地求解相应的CBCD子问题。我们证明了具有固定步长的GR/GP和CBCD都属于我们的算法框架,并且由该框架生成的迭代的任何聚类点都是一阶平稳点。初步实验表明,我们的新框架具有很大的潜力。

MSC公司:

65千5 数值数学规划方法
90C06型 数学规划中的大尺度问题
90立方 非线性规划

软件:

KSSOLV公司
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] T.E.Abrudan、J.Eriksson和V.Koivunen,{酉矩阵约束下优化的最速下降算法},IEEE Trans。信号处理。,56(2008),第1134-1147页·Zbl 1390.90510号
[2] T.E.Abrudan、J.Eriksson和V.Koivunen,{酉矩阵约束下优化的共轭梯度算法},信号处理。,89(2009),第1704-1714页·Zbl 1178.94048号
[3] P.-A.Babsil、R.Mahony和R.Sepulchre,矩阵流形上的优化算法,普林斯顿大学出版社,新泽西州普林斯顿,2009年·Zbl 1147.65043号
[4] P.-A.Absil和J.Malick,{矩阵流形上的类投影收缩},SIAM J.Optim。,22(2012),第135-158页·Zbl 1248.49055号
[5] J.Barzilai和J.M.Borwein,{两点步长梯度法},IMA J.Numer。分析。,8(1988),第141-148页·Zbl 0638.65055号
[6] A.Caboussat、R.Glowinski和V.Pons,{非光滑特征值问题数值解的增广拉格朗日方法},J.Numer。数学。,17(2009),第3-26页·Zbl 1169.65064号
[7] Y.-H.Dai和R.Fletcher,{大规模箱约束二次规划的投影Barzilai-Borwein方法},Numer。数学。,100(2005),第21-47页·Zbl 1068.65073号
[8] A.d'Aspremont、L.El Ghaoui、M.I.Jordan和G.R.G.Lanckriet,{使用半定规划的稀疏PCA直接公式},SIAM Rev.,49(2007),第434-448页·邮编1128.90050
[9] E.D.Dolan和J.J.More∏,{性能曲线基准优化软件},数学。程序。,91(2002),第201-213页·邮编:1049.90004
[10] A.Edelman、T.A.Arias和S.T.Smith,《正交约束算法的几何结构》,SIAM J.Matrix Anal。申请。,20(1998年),第303-353页·Zbl 0928.6500号
[11] L.Eldeín和H.Park,{\it Stiefel流形上的Procrustes问题},Numer。数学。,82(1999),第599-619页·Zbl 0934.65052号
[12] C.Fraikin、Y.Nesterov和P.Van Dooren,{\it优化矩阵之间耦合的梯度型算法},线性代数应用。,429(2008),第1229-1242页·Zbl 1145.65029号
[13] D.Goldfarb,Z.Wen,W.Yin,{球面上p-调和流的曲线搜索方法},SIAM J.成像科学。,2(2009年),第84-109页·Zbl 1193.49030号
[14] I.Grubišicand R.Pietersz,{相关矩阵的有效降秩},线性代数应用。,422(2007),第629-653页·Zbl 1112.65036号
[15] W.Huang,P.-A.Absil和K.A.Gallivan,{非凸优化问题的黎曼BFGS方法},《数值数学与高级应用》,讲义计算。科学。Eng.112,Springer,Cham,Switzerland,2016年,第627-634页·Zbl 1352.65153号
[16] W.Huang,K.A.Gallivan和P.-A.Absil,{关于黎曼优化的Broyden类拟Newton方法},SIAM J.Optim。,25(2015),第1660-1685页·Zbl 1461.65156号
[17] 蒋斌,戴永华,{一种基于Stiefel流形优化的约束保持更新方案框架},数学。程序。,153(2015),第535-575页·Zbl 1325.49037号
[18] W.Kohn和L.J.Sham,{包括交换和相关效应在内的自洽方程},《物理学》。第(2)版,140(1965),第A1133-1138页。
[19] R.Lai和S.Osher,{正交约束问题的分裂方法},科学杂志。计算。,58(2014),第431-449页·Zbl 1296.65087号
[20] X.Liu,X.Wang,Z.Wen,Y.Y.Yuan,{关于Kohn-Sham密度泛函理论中自洽场迭代的收敛性},SIAM J.矩阵分析。申请。,35(2014),第546-558页·Zbl 1319.65041号
[21] X.Liu,Z.Wen,and Y.Zhang,{计算优势奇异值分解的有限内存块Krylov子空间优化},SIAM J.Sci。计算。,35(2013年),第A1641-A1668页·Zbl 1278.65045号
[22] X.Liu,Z.Wen,Y.Zhang,{it对称低秩乘积矩阵逼近的一种有效Gauss-Newton算法},SIAM J.Optim。,25(2015),第1571-1608页·Zbl 1321.65060号
[23] J.H.Manton,{利用酉约束的优化算法},IEEE Trans。信号处理。,50(2002),第635-650页·Zbl 1369.90169号
[24] Y.Nishimori和S.Akaho,利用Stiefel流形上的拟测地线流的学习算法,神经计算,67(2005),第106-135页。
[25] J.Nocedal和S.Wright,《数值优化》,施普林格出版社,柏林,2006年·Zbl 1104.65059号
[26] B.Savas和L.-H.Lim,{关于Grassmannian和张量的多线性近似}的拟Newton方法,SIAM J.Sci。计算。,32(2010年),第3352-3393页·Zbl 1226.65058号
[27] P.H.Schoönemann,{正交Procrustes问题的广义解},《心理测量学》,31(1966),第1-10页·Zbl 0147.19401号
[28] E.Stiefel,{it Richtungsfelder und fernpallelismus in n-dimensional maningfaltigkeiten},评论。数学。帮助。,8(1935年),第305-353页·Zbl 0014.41601号
[29] 孙文华,袁永霞,{优化理论与方法:非线性规划},第1卷,施普林格出版社,纽约,2006年·邮编1129.90002
[30] L.N.Trefethen和D.Bau,《数值线性代数》,SIAM,费城,1997年·Zbl 0874.65013号
[31] M.Ulbrich,Z.Wen,C.Yang,D.Klo¨ckner,and Z.Lu,{it系综密度泛函理论的近似梯度方法},SIAM J.Sci。计算。,37(2015),第A1975-A2002页·兹比尔1325.65095
[32] Z.Wen,C.Yang,X.Liu,Y.Zhang,{大规模特征空间计算的迹效最小化},科学杂志。计算。,66(2016),第1175-1203页·Zbl 1373.65026号
[33] Z.Wen和W.Yin,{正交约束优化的一种可行方法},数学。程序。,142(2013),第397-434页·Zbl 1281.49030号
[34] C.Yang,J.C.Meza,B.Lee,and L.-W.Wang,{it KSSOLV-a MATLAB toolbox for solution the Kohn-Sham方程式},ACM Trans。数学。软件,36(2009),10·Zbl 1364.65112号
[35] C.Yang,J.C.Meza和L.-W.Wang,{电子结构计算中总能量最小化的约束优化算法},J.Compute。物理。,217(2006),第709-721页·Zbl 1102.81340号
[36] C.Yang,J.C.Meza,and L.-W.Wang,{it Kohn-Sham方程的信赖域直接约束最小化算法},SIAM J.Sci。计算。,29(2007),第1854-1875页·Zbl 1154.65340号
[37] 张宏,哈格,{非单调线搜索技术及其在无约束优化中的应用},SIAM J.Optim。,14(2004),第1043-1056页·Zbl 1073.90024号
[38] X.Zhang,J.Zhu,Z.Wen和A.Zhou,{电子结构计算的梯度型优化方法},SIAM J.Sci。计算。,36(2014年),第C265-C289页·Zbl 1300.82006号
[39] H.Zou、T.Hastie和R.Tibshirani,《稀疏主成分分析》,J.Compute。图形、统计、。,15(2006年),第265-286页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。