江波;戴玉红 一个Stiefel流形优化的约束保持更新方案框架。 （英语） Zbl 1325.49037号 数学。程序。 153，第2（A）号，535-575（2015）. 摘要：本文考虑Stiefel流形（X^{mathsf{T}}X=I_p）上的优化问题，其中（X\in\mathbb{R}^{n\times-p}）是变量，（I_p和\（X^{mathsf{T}}\）的空空格。虽然这个通用框架可以统一许多现有的方案，但也发现了一个新的复杂度低的更新方案。然后，在新的更新方案下，我们研究了一种可行的Barzilai-Borwein-like方法。通过自适应非单调线搜索，证明了该方法的全局收敛性。对最近低秩相关矩阵问题、Kohn-Sham总能量最小化问题和一个具体的统计问题的数值试验证明了该方法的有效性。特别是，新方法在速度和求解质量方面对最近的低秩相关矩阵问题表现得非常好，并且在Kohn-Sham总能量最小化方面与广泛使用的SCF迭代具有相当大的竞争力。 引用于46文件 MSC公司： 49立方米7 基于非线性规划的数值方法 99年第49季度 流形和测量几何主题 65千5 数值数学规划方法 90立方 非线性规划 关键词：优化;斯蒂弗尔流形;更新方案;正交约束;球体约束;Barzilai-Borwein-like方法;可行性;自适应非单调线搜索;低秩相关矩阵;Kohn-Sham总能量最小化;异质二次函数 软件：KSSOLV公司;稀疏矩阵 PDF格式BibTeX公司 XML格式引用 \textit{B.Jiang}和\textit{Y.-H.Dai}，数学。程序。153，第2（A）号，535--575（2015；Zbl 1325.49037） 全文： 内政部 arXiv公司 参考文献： [1] Abrudan，T.，Eriksson，J.，Koivunen，V.：酉矩阵约束下优化的最速下降算法。IEEE传输。信号处理。56(3), 1134-1147 (2008) ·Zbl 1390.90510号 ·doi:10.1109/TSP.2007.908999 [2] Abrudan，T.，Eriksson，J.，Koivunen，V.：酉矩阵约束下优化的共轭梯度算法。信号。过程。89(9), 1704-1714 (2009) ·兹比尔1178.94048 ·doi:10.1016/j.sigpro.2009.03.015 [3] Absil，P.A.，Mahony，R.，Sepulchre，R.：矩阵流形上的优化算法。普林斯顿大学出版社，普林斯顿（2008）·兹比尔1147.65043 ·数字对象标识代码：10.1515/9781400830244 [4] Absil，P.A.，Malick，J.：矩阵流形上的类投影收缩。SIAM J.Optim公司。22(1), 135-158 (2012) ·Zbl 1248.49055号 ·数字对象标识代码：10.1137/100802529 [5] Andreani，R.，Birgin，E.G.，Martínez，J.M.，Schuverdt，M.L.：关于具有一般低层约束的增广拉格朗日方法。SIAM J.Optim公司。18(4), 1286-1309 (2007) ·Zbl 1151.49027号 ·数字对象标识代码：10.1137/060654797 [6] Balogh，J.，Csendes，T.，Rapcsák，T.：Stiefel流形上的一些全局优化问题。J.全球优化。30(1), 91-101 (2004) ·Zbl 1136.90507号 ·doi:10.1007/s10898-004-0574-9 [7] Barzilai，J.，Borwein，J.M.：两点步长梯度法。IMA J.数字。分析。8(1), 141-148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141 [8] Birgin，E.G.，Martínez，J.M.，Raydan，M.：凸集上的非单调谱投影梯度方法。SIAM J.Optim公司。10(4), 1196-1211 (2000) ·Zbl 1047.90077号 ·doi:10.1137/S1052623497330963 [9] Bolla，M.，Michaletzky，G.，Tusnády，G.，Ziermann，M.：异质二次型和的极值。线性代数应用。269(1), 331-365 (1998) ·Zbl 0893.65030号 ·doi:10.1016/S0024-3795（97）00230-9 [10] Borsdorf，R.：求对称矩阵最佳嵌入对角矩阵集合的算法。曼彻斯特大学技术报告（2012）·Zbl 1281.49030号 [11] Dai，Y.H.，Fletcher，R.：大型箱约束二次规划的投影Barzilai-Borwein方法。数字。数学。100（1），21-47（2005）·Zbl 1068.65073号 ·doi:10.1007/s00211-004-0569-y [12] Dai，Y.H.，Fletcher，R.：受上下界约束的单线性约束二次规划的新算法。数学。程序。106(3), 403-421 (2006) ·Zbl 1134.90030号 ·doi:10.1007/s10107-005-0595-2 [13] Dai，Y.H.，Hager，W.W.，Schittkowski，K.，Zhang，H.C.：无约束优化的循环Barzilai-Borwein方法。IMA J.数字。分析。26(3), 604-627 (2006) ·Zbl 1147.65315号 ·doi:10.1093/imanum/drl006 [14] Dai，Y.H.，Liao，L.Z.：Barzilai和Borwein梯度法的R-线性收敛性。IMA J.数字。分析。22, 1-10 (2002) ·Zbl 1002.65069号 ·doi:10.1093/imanum/22.1.1 [15] Dai，Y.H.，Zhang，H.C.：自适应两点步长梯度算法。数字。算法27（4），377-385（2001）·Zbl 0992.65063号 ·doi:10.1023/A:1013844413130 [16] d'Aspremont，A.，Ei Ghaoui，L.，Jordan，M.I.，Lanckriet，G.R.：使用半定规划的稀疏PCA直接公式。SIAM版本49（3），434-448（2007）·邮编1128.90050 ·doi:10.1137/050645506 [17] Davis，T.，Hu，Y.F.：佛罗里达大学稀疏矩阵集合。佛罗里达大学技术报告（2009年）·Zbl 1365.65123号 [18] Edelman，A.、Arias，T.A.、Smith，S.T.：具有正交约束的算法几何。SIAM J.矩阵分析。申请。20(2), 303-353 (1998) ·Zbl 0928.6500号 ·doi:10.1137/S089547989529290954 [19] Eldén，L.，Park，H.：Stiefel流形上的Procrustes问题。数字。数学。82(4), 599-619 (1999) ·Zbl 0934.65052号 ·doi:10.1007/s002110050432 [20] 弗莱彻，R。；Qi，LQ（编辑）；Teo，K.（编辑）；Yang，XQ（编辑），《关于Barzilai-Borwein方法》，第96期，235-256（2005），美国·Zbl 1118.90318号 ·doi:10.1007/0-387-24255-4_10 [21] Flury，B.：常见主成分和相关多元模型。威利，纽约（1988年）·Zbl 1081.62535号 [22] Gao，Y.，Sun，D.F.：用于校准秩约束相关矩阵问题的优化惩罚方法。Signapore国立大学技术报告（2010年） [23] Golub，G.H.，Van Loan，C.F.：《矩阵计算》，第三版。约翰·霍普金斯大学出版社，马里兰州（1996）·Zbl 0865.65009号 [24] Grippo，L.，Lampariello，F.，Lucidi，S.：牛顿方法的非单调线搜索技术。SIAM J.数字。分析。23, 707-716 (1986) ·Zbl 0616.65067号 ·doi:10.1137/0723046 [25] Grubišić，i.，Pietersz，R.：相关矩阵的有效秩约简。线性代数应用。422(2), 629-653 (2007) ·Zbl 1112.65036号 [26] Jiang，B.，Dai，Y.H.：Stiefel流形优化的约束保持更新方案框架。中国科学院数学与系统科学研究院计算数学与科学/工程计算研究所技术报告（2012年）·Zbl 1325.49037号 [27] Jiang，B.，Dai，Y.H.：极端对称特征值问题的可行Barzilai-Borwein-like方法。最佳方案。方法软件。28(4), 756-784 (2013) ·Zbl 1302.90209号 ·doi:10.1080/10556788.2012.656115 [28] Jiang，K.F.，Sun，D.F.，Toh，K.C.：大规模线性约束凸SDP的非精确加速近似梯度法。SIAM J.Optim公司。22(3), 1042-1064 (2012) ·Zbl 1401.90120号 ·数字对象标识代码：10.1137/10847081 [29] Joho，M.，Mathis，H.：利用梯度方法对相关矩阵进行联合对角化，并应用于盲信号分离。摘自：IEEE传感器阵列和多通道信号处理研讨会论文集，2002年，第273-277页（2002）·Zbl 1068.65073号 [30] Journée，M.，Nesterov，Y.，Richtárik，P.，Sepulchre，R.：稀疏主成分分析的广义幂法。J.马赫。学习。第11号决议，517-553（2010年）·Zbl 1242.62048号 [31] Lai，R.，Wen，Z.，Yin，W.，Gu，X.，Lui，L.M.：通过谐波能量最小化实现第0类曲面的无折叠全局保角映射。科学杂志。计算。58(3), 705-725 (2014) ·Zbl 1298.30007号 ·doi:10.1007/s10915-013-9752-6 [32] Li，L.，Toh，K.C.：L1-正则稀疏协方差选择的不精确内点方法。数学。程序。计算。2291-315（2010年）·Zbl 1208.90131号 ·doi:10.1007/s12532-010-0020-6 [33] Li，Q.N.，Qi，H.D.：最近低阶相关矩阵问题的序列半光滑牛顿法。SIAM J.Optim公司。21(4), 1-26 (2011) ·Zbl 1236.49070号 [34] Liu，Y.F.，Dai，Y.H.，Luo，Z.Q.：关于干扰对准中泄漏干扰最小化的复杂性。2011年IEEE第12届无线通信信号处理进展国际研讨会，第471-475页（2011）·Zbl 0147.19401号 [35] Manton，J.H.：利用单一约束的优化算法。IEEE传输。信号处理。50(3), 635-650 (2002) ·Zbl 1369.90169号 ·数字对象标识代码：10.1109/78.984753 [36] Nishimori，Y.，Akaho，S.：利用Stiefel流形上的拟测地线流的学习算法。神经计算67，106-135（2005）·doi:10.1016/j.neucom.2004.11.035 [37] Nocedal，J.，Wright，S.J.：《数值优化》，第二版。《Springer运筹学和金融工程系列》，纽约Springer出版社（2006年）·Zbl 1104.65059号 [38] Peters，S.W.，Heath，R.W.：通过交替最小化进行干涉对准。摘自：2009年IEEE声学、语音和信号处理国际会议记录，第2445-2448页。IEEE计算机学会（2009） [39] Pietersz，R.，Groenen，P.J.：通过优化降低相关矩阵的秩。数量。财务。4(6), 649-662 (2004) ·Zbl 1405.91647号 ·doi:10.1080/14697680400016182 [40] Qi，H.D.，Sun，D.F.：计算最近相关矩阵的二次收敛牛顿法。SIAM J.矩阵分析。申请。28(2), 360-385 (2007) ·Zbl 1120.65049号 ·数字对象标识代码：10.1137/050624509 [41] Rapcsák，T.：关于Stiefel流形上异质二次函数和的最小化。收录于：Migdalas，A.、Pardalos，P.M.、Värbrand，P.（编辑）《从局部优化到全局优化》，第53卷，第277-290页。Kluwer学术出版社（2001）·Zbl 1005.90047号 [42] Rapcsák，T.：关于Stiefel流形的最小化。欧洲药典。第143（2）号决议，365-376（2002）·Zbl 1058.90064号 ·doi:10.1016/S0377-2217（02）00329-6 [43] Raydan，M.：关于Barzilai和Borwein梯度法步长的选择。IMA J.数字。分析。13, 321-326 (1993) ·兹比尔0778.65045 ·doi:10.1093/imanum/13.3321 [44] Raydan，M.：大规模无约束最小化问题的Barzilai和Borwein梯度法。SIAM J.Optim公司。7(1), 26-33 (1997) ·Zbl 0898.90119号 ·doi:10.1137/S1052623494266365 [45] Rebonato，R.，Jäckel，P.：为风险管理和期权定价目的创建有效相关性矩阵的最通用方法。J.风险2，17-27（1999） [46] Saad，Y.：大型特征值问题的数值方法。曼彻斯特大学出版社（1992）·Zbl 0991.65039号 [47] Savas，B.，Lim，L.H.：关于Grassmannian和张量的多线性近似的拟Newton方法。SIAM J.科学。计算。32(6), 3352-3393 (2010) ·Zbl 1226.65058号 ·doi:10.1137/090763172 [48] Schönemann，P.H.：正交Procrustes问题的广义解。《心理测量学》31（1），1-10（1966）·Zbl 0147.19401号 ·doi:10.1007/BF02289451 [49] Stiefel，E.：n维manigfaltigkeiten中的Richtungsfelder和fernpallelismus。注释。数学。Helv公司。8(1), 305-353 (1935) ·Zbl 0014.41601号 ·doi:10.1007/BF01199559 [50] 孙伟毅，袁玉霞：优化理论与方法，施普林格优化及其应用，第1卷。施普林格，纽约（2006）·邮编1129.90002 [51] 泰斯，F。；Cason，T。；Absil，宾夕法尼亚州；Adali，T.（编辑）；Jutten，C.（编辑）；罗马诺，JMT（编辑）；Barros，A.（ed.），通过stiefel流形上的联合对角化实现ica的软降维，第5441、354-361号（2009），柏林·doi:10.1007/978-3-642-00599-2_45 [52] Toint，P.L.：凸约束下非线性优化的非单调信任域算法。数学。程序。77(3), 69-94 (1997) ·Zbl 0891.90153号 ·doi:10.1007/BF02614518 [53] Wen，Z.，Yin，W.：正交约束优化的可行方法。数学。程序。142(1-2), 397-434 (2013) ·Zbl 1281.49030号 ·doi:10.1007/s10107-012-0584-1 [54] Yang，C.，Meza，J.C.，Lee，B.，Wang，L.W.：KSSOLV-用于求解Kohn-Sham方程的Matlab工具箱。ACM事务处理。数学。柔和。36, 1-35 (2009) ·兹伯利1364.65112 ·doi:10.1145/1499096.1499099 [55] Yang，C.，Meza，J.C.，Wang，L.W.：电子结构计算中总能量最小化的约束优化算法。J.计算。物理学。217(2), 709-721 (2006) ·Zbl 1102.81340号 ·doi:10.1016/j.jcp.2006.01.030 [56] Yang，C.，Meza，J.C.，Wang，L.W.：Kohn-Sham方程的信赖域直接约束最小化算法。SIAM J.科学。计算。29(5), 1854-1875 (2007) ·Zbl 1154.65340号 ·数字对象标识代码：10.1137/060661442 [57] Zhang，H.C.，Hager，W.W.：非单调线搜索技术及其在无约束优化中的应用。SIAM J.Optim公司。14(4), 1043-1056 (2004) ·Zbl 1073.90024号 ·doi:10.1137/S1052623403428208 [58] Zhang，L.H.，Liao，L.Z:最大相关问题的交替变量方法。J.全球优化。54(1), 199-218 (2012) ·Zbl 1318.62200号 ·doi:10.1007/s10898-011-9758-2 [59] Zhou，B.，Gao，L.，Dai，Y.H.：具有自适应步长的梯度方法。计算。最佳方案。申请。35(1), 69-86 (2006) ·Zbl 1121.90099 ·doi:10.1007/s10589-006-6446-0 [60] Zou，H.，Hastie，T.，Tibshirani，R.：稀疏主成分分析。J.计算。图表。Stat.15（2），265-286（2006）·doi:10.1198/106186006X113430 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。