×

一种可行的正交约束优化方法。 (英语) Zbl 1281.49030号

摘要:具有正交约束(例如,(X^\top X=I\))和/或球面约束(例如:(X\|2=1\))的最小化在多项式优化、组合优化、特征值问题、稀疏PCA、p-调和流、1位压缩感知、矩阵秩最小化等方面有着广泛的应用。这些问题很难解决,因为约束不仅是非凸的,而且在迭代过程中保存的数值代价很高。为了解决这些困难,我们应用Cayley变换(一种类似Crank-Nicolson的更新方案)来保留约束,并在此基础上,我们开发了与基于投影和测地线的搜索算法相比,具有更低的浮点运算量的曲线搜索算法。在各种测试问题上证明了所提算法的有效性。特别是,对于maxcut问题,它精确地求解了SDP松弛的分解公式。对于多项式优化、最近相关矩阵估计和极值特征值问题,所提出的算法运行速度非常快,返回的解不比其最新算法差。对于二次分配问题,在一台典型的笔记本电脑上,在5分钟内就可以实现与QAPLIB中最大问题“tai256c”的最佳已知解的0.842%的差距。

理学硕士:

49立方米 变分法中的其他数值方法(MSC2010)
49立方米 基于非线性规划的数值方法
90C22型 半定规划
90C26型 非凸规划,全局优化
90C27型 组合优化
90立方 非线性规划
65千5 数值数学规划方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] Absil,P.-A,Baker,C.G.,Gallivan,K.A.:黎曼流形上的信赖域方法。已找到。计算。数学。7, 303-330 (2007) ·Zbl 1129.65045号 ·doi:10.1007/s10208-005-0179-9
[2] Absil,P.-A.,Mahony,R.,Sepulchre,R.:矩阵流形上的优化算法。普林斯顿大学出版社,普林斯顿(2008)·Zbl 1147.65043号
[3] Adler,R.L.,Dedieu,J.-P.,Margulies,J.Y.,Martens,M.,Shub,M.:关于黎曼流形和人体脊椎几何模型的牛顿方法。IMA J.数字。分析。22, 359-390 (2002) ·Zbl 1056.92002号 ·doi:10.1093/imanum/22.3.359
[4] Baker,C.G.,Absil,P.-A.,Gallivan,K.A.:黎曼流形上的隐式信任域方法。IMA J.数字。分析。28, 665-689 (2008) ·Zbl 1158.65320号 ·doi:10.1093/imanum/drn029
[5] Barzilai,J.,Borwein,J.M.:两点步长梯度法。IMA J.数字。分析。8, 141-148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[6] Bencteux,G.,Cancés,E.,Hager,W.W.,Le Bris,C.:二次规划分解算法分析。SIAM J.数字。分析。47, 4517-4539 (2010) ·Zbl 1208.65082号 ·doi:10.1137/070701728
[7] Benson,S.J.,Ye,Y.,Zhang,X.:求解组合优化的大规模稀疏半定程序。SIAM J.Optim公司。10, 443-461 (2000) ·Zbl 0997.90059号 ·doi:10.1137/S1052623497328008
[8] Boufounos,P.,Baraniuk,R.:1位压缩传感。信息确认。普林斯顿大学科学与系统学院(CISS)(2008年)
[9] Brace,I.,Manton,J.H.:用于计算加权低秩近似的改进BFGS-on-manfold算法。第17届网络与系统数学理论国际研讨会论文集,第1735-1738页(2006)
[10] Burer,S.,Monteiro,R.D.C.:通过低阶因式分解求解半定规划的非线性规划算法。数学。程序。95, 329-357 (2003) ·兹比尔1030.900077 ·doi:10.1007/s10107-002-0352-8
[11] Burkard,R.E.、Karisch,S.E.、Rendl,F.:QAPLIB:二次分配问题库。J.全球优化。10, 391-403 (1997) ·Zbl 0884.90116号 ·doi:10.1023/A:1008293323270
[12] Cancès,E.,Le Bris,C.,Lions,P.-L.:分子模拟和相关主题:一些开放的数学问题。非线性21,T165-T176(2008)·Zbl 1158.35100号 ·doi:10.1088/0951-7715/21/9/T03
[13] Chang,G.J.,Huang,L.-H.,Yeh,H.-G.:关于有向图的秩。线性代数应用。429, 601-605 (2008) ·Zbl 1149.05032号 ·doi:10.1016/j.laa.2008.03.016
[14] Dai,Y.-H.,Fletcher,R.:大型箱约束二次规划的投影Barzilai-Borwein方法。数字。数学。100, 21-47 (2005) ·Zbl 1068.65073号 ·doi:10.1007/s00211-004-0569-y
[15] d'Aspremont,A.,El Ghaoui,L.,Jordan,M.,Lanckriet,G.R.:使用半定规划的稀疏PCA直接公式。SIAM Rev.49,434-448(2007)·邮编1128.90050 ·doi:10.1137/050645506
[16] Davis,T.A.:佛罗里达大学稀疏矩阵收集,技术报告。佛罗里达大学(2010年)·Zbl 1365.65123号
[17] Dolan,E.D.,Moré,J.J.,Munson,T.S.:使用cops 3.0对优化软件进行基准测试,技术报告。阿贡国家实验室数学和计算机科学部(2004年2月)
[18] Edelman,A.、Arias,T.A.、Smith,S.T.:具有正交约束的算法几何。SIAM J.矩阵分析。申请。20, 303-353 (1999) ·Zbl 0928.6500号 ·doi:10.1137/S089547989529290954
[19] Fletcher,R.:实用优化方法。约翰·威利父子公司(2000)·兹伯利0988.65043
[20] Francisco,J.B.、Martínez,J.M.、Martánez、L.、Pisnitchenko,F.:电子结构计算中最小化问题的不精确恢复方法。计算。选择。申请。10(3), 555-590 (2011) ·Zbl 1263.90090号
[21] Friedland,S.,Nocedal,J.,Overton,M.L.:逆特征值问题数值方法的制定和分析。SIAM J.数字。分析。24634-667(1987年)·Zbl 0622.65030号 ·数字对象标识代码:10.1137/0724043
[22] Gao,Y.,Sun,D.:校准秩约束相关矩阵问题的优化惩罚方法,技术报告。新加坡国立大学(2010)·Zbl 0957.65054号
[23] Goldfarb,D.,Wen,Z.,Yin,W.:球面上p-调和流的曲线搜索方法。SIAM J.成像科学。2, 84-109 (2009) ·Zbl 1193.49030号 ·doi:10.1137/080726926
[24] Golub,G.H.,Van Loan,C.F.:矩阵计算。《约翰·霍普金斯数学科学研究》,约翰·霍普金斯大学出版社,巴尔的摩(1996)·Zbl 0865.65009号
[25] Grippo,L.,Palagi,L..,Piccialli,V.:求解maxcut问题低阶sdp松弛的无约束极小化方法。数学。程序。,1-28 (2009). doi:10.1007/s10107-009-0275-8·Zbl 1206.90114号
[26] Grubišić,i.,Pietersz,R.:相关矩阵的有效秩约简。线性代数应用。422, 629-653 (2007) ·Zbl 1112.65036号 ·doi:10.1016/j.laa.2006.11.024
[27] He,S.,Li,Z.,Zhang,S.:二次约束齐次多项式优化的近似算法。数学。程序。125, 353-383 (2010) ·Zbl 1206.90124号 ·doi:10.1007/s10107-010-0409-z
[28] Helmberg,C.,Rendl,F.:半定规划的谱丛方法。SIAM J.优化。10, 673-696 (2000) ·Zbl 0960.65074号 ·doi:10.1137/S1052623497328987
[29] 赫尔姆克,美国。;穆尔,JB;Brockett,R.(编辑),《优化和动力系统》(1994),伦敦·兹比尔0943.93001
[30] Horn,R.A.,Johnson,C.R.:矩阵分析。剑桥大学出版社,剑桥(1985)·Zbl 0576.15001号 ·doi:10.1017/CBO9780511810817
[31] Kokopoulou,E.,Chen,J.,Saad,Y.:降维方法中的轨迹优化和特征问题,技术报告。明尼苏达大学(2010)·Zbl 1249.65075号
[32] Kruík,M.,Prohl,A.:铁磁性建模、分析和数值方面的最新发展。SIAM第48版,439-483(2006)·Zbl 1126.49040号 ·doi:10.1137/S0036144504446187
[33] Laska,J.N.,Wen,Z.,Yin,W.,Baraniuk,R.G.:信任,但验证:从1位压缩测量中快速准确地恢复信号,技术报告。莱斯大学(2010)·Zbl 1393.94314号
[34] Lu,Z.,Zhang,Y.:稀疏主成分的增广拉格朗日方法,分析,arXiv:0907.2079(2009)·Zbl 1263.90093号
[35] Malick,J.,Povh,J.、Rendl,F.、Wiegele,A.:半定规划的正则化方法。SIAM J.Optim公司。20, 336-356 (2009) ·Zbl 1187.90219号 ·doi:10.1137/070704575
[36] Moré,J.J.,Thuente,D.J.:保证充分减少的线搜索算法。ACM事务处理。数学。柔和。20, 286-307 (1994) ·Zbl 0888.65072号 ·数字对象标识代码:10.1145/192115.192132
[37] Nemirovski,A.:正交约束下的随机对称矩阵和二次优化。数学。程序。109, 283-317 (2007) ·Zbl 1156.90012号 ·doi:10.1007/s10107-006-0033-0
[38] 聂,J.:《大规模多项式优化中平方和松弛的正则化方法》,技术报告。加州大学可持续发展学院数学系(2009年)·Zbl 0960.65074号
[39] Nishimori,Y.,Akaho,S.:利用stiefel流形上的拟测地线流的学习算法。神经计算67,106-135(2005)·doi:10.1016/j.neucom.2004.11.035
[40] Nocedal,J.、Wright,S.J.:数值优化。Springer运筹学与金融工程系列,第2版。施普林格,纽约(2006)·Zbl 1104.65059号
[41] Owren,B.,Welfert,B.:李群上的牛顿迭代。BIT 40121-145(2000)·Zbl 0957.65054号 ·doi:10.1023/A:1022322503301
[42] Pietersz,R.,Groenen,P.J.F.:通过优化降低相关矩阵的秩。数量。财务4649-662(2004)·Zbl 1405.91647号 ·doi:10.1080/14697680400016182
[43] 齐,C。;加里凡,KA;绝对值,P-A;Diehl,M.(编辑);Glineur,F.(编辑);Jarlebring,E.(编辑);Michiels,W.(编辑),黎曼BFGS算法及其应用(2010),柏林
[44] Raydan,M.:大规模无约束最小化问题的Barzilai和Borwein梯度法。SIAM J.Optim公司。7, 26-33 (1997) ·Zbl 0898.90119号 ·doi:10.1137/S1052623494266365
[45] Rebonato,R.,Jäckel,P.:为风险管理和期权定价目的创建有效相关性矩阵的最通用方法。J.风险2,17-27(1999)
[46] Roy,R.,Kailath,T.:Esprit-通过旋转不变性技术估计信号参数。IEEE传输。声学、语音、信号处理。37(7), 984-995 (1989) ·Zbl 0701.93090号
[47] Schneider,R.,Rohwedder,T.,Neelov,A.,Blauert,J.:电子结构密度泛函计算中计算不变子空间的直接最小化。J.计算。数学。27, 360-387 (2009) ·Zbl 1212.81001号
[48] Shub,M.:关于动力系统和数值分析的一些评论。《动力系统与偏微分方程》(Caracas,1984),第69-91页。加拉加斯西蒙·玻利瓦尔大学(1986)·Zbl 1056.92002号
[49] Simon,D.,Abell,J.:约束相关矩阵近似的优化算法。线性代数应用。432, 1152-1164 (2010) ·Zbl 1183.65009号 ·doi:10.1016/j.laa.2009.10.025
[50] Smith,S.T.:自适应滤波的几何优化方法。ProQuest LLC,密歇根州安娜堡。哈佛大学博士论文(1993)·Zbl 0884.90116号
[51] Smith,S.T.:黎曼流形上的优化技术。《哈密尔顿和梯度流,算法和控制》,第3卷,第113-136页。现场仪表通讯。,阿默尔。数学。国际扶轮社普罗维登斯分会(1994年)·Zbl 0816.49032号
[52] 孙伟,袁永新:《优化理论与方法》,《Springer优化及其应用》第1卷。施普林格,纽约(2006)·邮编1129.90002
[53] Udrište,C.:黎曼流形上的凸函数和优化方法,《数学及其应用》第297卷。多德雷赫特Kluwer学术出版集团(1994)·Zbl 0932.53003号 ·doi:10.1007/978-94-015-8390-9
[54] Vese,L.A.,Osher,S.J.:谐波流的数值方法及其在图像处理中的应用。SIAM J.数字。分析。40, 2085-2104 (2002) ·Zbl 1035.65065号 ·doi:10.1137/S0036142901396715
[55] Wächter,A.,Biegler,L.T.:关于大规模非线性规划的点内滤波器线性搜索算法的实现。数学。程序。106, 25-57 (2006) ·Zbl 1134.90542号 ·doi:10.1007/s10107-004-0559-y
[56] Ward,J.:机载雷达的时空自适应处理,麻省理工学院技术报告(1994)·Zbl 1030.90077号
[57] Weber,V.、VandeVondele,J.、Hütter,J.和Niklasson,A.M.:正交约束下的直接能量函数最小化。化学杂志。物理学。128(8), 084113 (2008) ·Zbl 0997.90059号
[58] Witten,D.M.,Tibshirani,R.,Hastie,T.:惩罚矩阵分解,应用于稀疏主成分和典型相关分析。生物统计学10,515-534(2009)·Zbl 1437.62658号 ·doi:10.1093/biostatistics/kxp008
[59] Yang,B.:投影近似子空间跟踪。IEEE传输。信号处理。43, 95-107 (1995) ·数字对象标识代码:10.1109/78.365290
[60] Yang,C.,Meza,J.C.,Lee,B.,Wang,L.-W.:Kssolv——用于求解kohn-sham方程的matlab工具箱。ACM事务处理。数学。柔和。36, 1-35 (2009) ·Zbl 1364.65112号 ·doi:10.1145/1499096.1499099
[61] Yang,C.,Meza,J.C.,Wang,L.-W.:电子结构计算中总能量最小化的约束优化算法。J.计算。物理学。217, 709-721 (2006) ·Zbl 1102.81340号 ·doi:10.1016/j.jcp.2006.01.030
[62] Zhang,H.,Hager,W.W.:非单调线搜索技术及其在无约束优化中的应用。SIAM J.优化。14, 1043-1056 (2004) ·Zbl 1073.90024号 ·doi:10.1137/S1052623403428208
[63] Zhao,X.,Sun,D.,Toh,K.:半定规划的Newton-CG增广拉格朗日方法。SIAM J.Optim公司。20, 1737-1765 (2010) ·Zbl 1213.90175号 ·数字对象标识代码:10.1137/080718206
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。