×

正交约束优化问题的可并行算法。 (英语) Zbl 07099320号

摘要:由于正交归一化过程的可扩展性较低,构造一种并行方法来解决具有正交约束的优化问题通常被视为一项极其困难的任务。然而,在材料计算等应用领域,这样的需求尤其巨大。本文提出了一种近线性化增广拉格朗日算法(PLAM),用于求解正交约束优化问题。与经典的增广拉格朗日方法不同,在我们的算法中,素变量是通过最小化增广拉格朗日函数的近端线性化近似来更新的;同时,对偶变量由一个保持在任意一阶平稳点的闭式表达式进行更新。如果需要高精度的可行性,则在上述算法的最后一步只调用一次正交化过程。因此,该算法的主要部分可以自然地并行化。在一些温和的假设下,我们建立了PLAM的全局子序列收敛性、最坏情况复杂度和局部收敛速度。为了降低惩罚参数的敏感性,我们对PLAM提出了一种改进,称为PLAM的可并行列式块最小化(PCAL)。连续的数值实验表明,拉格朗日乘子的新更新规则显著加快了PLAM的收敛速度,并使其可与现有的正交约束优化问题的可行解进行比较,PCAL的性能并不高度依赖于惩罚参数的选择。并行环境下的数值实验表明,PCAL在求解离散化Kohn-Sham总能量最小化问题时具有良好的性能和高可扩展性。

MSC公司:

65-XX岁 数值分析
68年XX月 计算机科学
2015财年65 矩阵特征值和特征向量的数值计算
65千5 数值数学规划方法
90C06型 数学规划中的大尺度问题
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] P.-A.Absil、R.Mahony和R.Sepulchre,矩阵流形上的优化算法,普林斯顿大学出版社,新泽西州普林斯顿,2009年·Zbl 1147.65043号
[2] J.Barzilai和J.M.Borwein,两点步长梯度法IMA J.数字。分析。,8(1988),第141-148页·Zbl 0638.65055号
[3] D.P.Bertsekas,约束优化与拉格朗日乘子方法,学术出版社,纽约,2014年。
[4] J.Bolt、S.Sabach和M.Teboulle,非凸非光滑问题的近似交替线性化极小化,数学。程序。,146(2014),第459-494页·Zbl 1297.90125号
[5] S.Boyd、N.Parikh、E.Chu、B.Peleato、J.Eckstein、,基于交替方向乘数法的分布式优化和统计学习,找到。趋势。机器。学习。,3(2011年),第1-122页·Zbl 1229.90122号
[6] X.Dai、Z.Liu、L.Zhang和A.Zhou,电子结构计算的共轭梯度法,SIAM J.科学。计算。,39(2017年),第A2702-A2740页·Zbl 1378.65120号
[7] Y.-H.Dai和R.Fletcher,大规模箱约束二次规划的投影Barzilai-Borwein方法,数字。数学。,100(2005),第21-47页·Zbl 1068.65073号
[8] E.D.Dolan和J.J.More©,使用性能配置文件对优化软件进行基准测试,数学。程序。,91(2002),第201-213页·邮编:1049.90004
[9] A.Edelman、T.A.Arias和S.T.Smith,正交约束算法的几何,SIAM J.矩阵分析。申请。,20(1998年),第303-353页·Zbl 0928.6500号
[10] B.Gao、X.Liu、X.Chen和Y.-X.Yuan,正交性约束优化问题的一种新的一阶算法框架、SIAM J.Optim.、。,28(2018),第302-332页·Zbl 1382.65171号
[11] B.Jiang和Y.-H.Dai,Stiefel流形优化的约束保持更新方案框架,数学。程序。,153(2015),第535-575页·Zbl 1325.49037号
[12] W.Kohn和L.J.Sham,包含交换和相关效应的自洽方程,物理。修订版,140(1965),A1133。
[13] R.Lai和S.Osher,正交约束问题的分裂方法,《科学杂志》。计算。,58(2014),第431-449页·Zbl 1296.65087号
[14] 李勇军、文智、杨丙和袁勇军,求解电子结构计算中半定程序的半光滑牛顿法, 2017, https://arxiv.org/abs/1708.08048。
[15] J.Liu、S.J.Wright、C.Reí、V.Bittorf和S.Sridhar,一种异步并行随机坐标下降算法,J.马赫。学习。研究,16(2015),第285-322页·Zbl 1337.68286号
[16] X.Liu、X.Wang、Z.Wen和Y.Y.Yuan,Kohn-Sham密度泛函理论中自洽场迭代的收敛性,SIAM J.矩阵分析。申请。,35(2014),第546-558页·Zbl 1319.65041号
[17] X.Liu、Z.Wen、X.Wang、M.Ulbrich和Y.Yuan,离散化Kohn-Sham密度泛函理论的分析,SIAM J.数字。分析。,53(2015),第1758-1785页·Zbl 1317.15008号
[18] X.Liu、Z.Wen和Y.Zhang,对称低秩乘积矩阵逼近的一种高效Gauss-Newton算法、SIAM J.Optim.、。,25(2015),第1571-1608页·Zbl 1321.65060号
[19] M.A.Marques、A.Castro、G.F.Bertsch和A.Rubio,章鱼:激发电子-离子动力学的第一原理工具、计算物理。社区。,151(2003),第60-78页。
[20] Y.Nishimori和S.Akaho,Stiefel流形上利用拟测地流的学习算法《神经计算》,67(2005),第106-135页。
[21] J.Nocedal和S.J.Wright,数值优化第二版,施普林格出版社,纽约,2006年·Zbl 1104.65059号
[22] 彭振中、徐彦、严敏明、尹文伟,ARock:异步并行坐标更新的算法框架,SIAM科学杂志。计算。,38(2016),第A2851-A2879页·Zbl 1350.49041号
[23] 张鹏、严兆强和尹伟强,并行和分布式稀疏优化,《信号、系统和计算机Asilomar会议论文集》,IEEE,2013年,第659-646页。
[24] J.P.Perdew和A.Zunger,多电子系统密度泛函近似的自相互作用修正,物理。修订版B,23(1981),5048。
[25] M.J.鲍威尔,极小化问题中非线性约束的一种方法《优化》,R.Fletcher主编,学术出版社,伦敦,1969年,第283-298页·Zbl 0194.47701号
[26] B.Recht、C.Re、S.Wright和F.Niu,Hogwild:一种并行化随机梯度下降的无锁方法《神经信息处理系统进展》,NIPS,2011年,第693-701页。
[27] M.Ulbrich、Z.Wen、C.Yang、D.Klockner和Z.Lu,集合密度泛函理论的近似梯度方法,SIAM J.科学。计算。,37(2015),第A1975-A2002页·Zbl 1325.65095号
[28] Z.Wen、A.Milzarek、M.Ulbrich和H.Zhang,用于电子结构计算的自适应正则化精确Hessian自洽场迭代,SIAM J.科学。计算。,35(2013年),第A1299-A1324页·Zbl 1273.82004号
[29] Z.Wen、C.Yang、X.Liu和Y.Zhang,大规模特征空间计算的迹效最小化,《科学杂志》。计算。,66(2016),第1175-1203页·Zbl 1373.65026号
[30] Z.Wen和W.Yin,正交约束优化的一种可行方法,数学。程序。,142(2013),第397-434页·Zbl 1281.49030号
[31] C.Yang、W.Gao和J.C.Meza,一类非线性特征值问题自洽场迭代的收敛性,SIAM J.矩阵分析。申请。,30(2009),第1773-1788页·Zbl 1228.65081号
[32] C.Yang、J.C.Meza、B.Lee和L.-W.Wang,KSSOLV-a求解Kohn-Sham方程的MATLAB工具箱,ACM变速器。数学。Softw,36(2009),第10页·Zbl 1364.65112号
[33] C.Yang、J.C.Meza和L.-W.Wang,电子结构计算中总能量最小化的约束优化算法,J.计算。物理。,217(2006),第709-721页·Zbl 1102.81340号
[34] C.Yang、J.C.Meza和L.-W.Wang,Kohn-Sham方程的信赖域直接约束极小化算法,SIAM J.科学。计算。,29(2007),第1854-1875页·兹比尔1154.65340
[35] X.Zhang、J.Zhu、Z.Wen和A.Zhou,电子结构计算的梯度型优化方法,SIAM J.科学。计算。,36(2014年),第C265-C289页·Zbl 1300.82006号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。