×

利用非线性规划的舍入和提升的非精确投影梯度法求解多项式优化的一阶半定松弛问题。 (英语) Zbl 1522.90033号

摘要:我们考虑求解非凸多项式优化问题(POP)的高阶紧半定规划(SDP)松弛问题,这些问题通常允许退化秩一最优解。我们提出了一种新的混合算法框架,而不是单独求解SDP本地搜索将非凸POP用于全球血统使用凸SDP。特别是,我们首先设计了一个全局收敛的不精确的投影梯度法(iPGM)用于求解作为框架主干的SDP。然后,我们通过花费较长的时间来加速iPGM,但受保护的,由快速非线性规划算法生成的秩一步法。我们证明了新框架对于求解SDP仍然是全局收敛的。为了解决将给定点投影到SDP可行集上的iPGM子问题,我们设计了一个两阶段算法,第一阶段使用基于对称高斯-赛德尔的加速近似梯度法(sGS-APG)生成一个好的初始点,第二阶段使用修改的有限内存BFGS(L-BFGS)生成获得准确溶液的方法。我们分析了这两个阶段的收敛性,并对不要求目标函数是两次连续可微的改进L-BFGS建立了一个新的全局收敛结果。我们进行了数值实验,以解决由一组不同的POP引起的二阶SDP松弛。我们的框架展示了最先进的效率、可扩展性和健壮性,即使在存在数百万个等式约束的情况下,也能将退化的SDP求解到高精度。

MSC公司:

90C06型 数学规划中的大尺度问题
90C22型 半定规划
90C23型 多项式优化
90 C55 连续二次规划型方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 阿贝,E。;澳大利亚班德拉;Hall,G.,随机块模型中的精确恢复,IEEE Trans。Inf.Theory,62,1,471-487(2015)·Zbl 1359.94047号
[2] Absil,宾夕法尼亚州;Mahony,R。;Sepulchre,R.,矩阵流形上的优化算法(2009),普林斯顿:普林斯顿大学出版社,普林斯顿·Zbl 1147.65043号
[3] Aholt,C.、Agarwal,S.、Thomas,R.:三角测量的QCQP方法。摘自:欧洲计算机视觉会议,第654-667页。施普林格(2012)
[4] Alizadeh,F。;海伯里,JPA;半定规划中的Overton,ML,互补性和非退化性,数学。程序。,77, 1, 111-128 (1997) ·Zbl 0890.90141号
[5] Alizadeh,F。;海伯里,JPA;半定规划的原对偶内点方法:收敛速度、稳定性和数值结果,SIAM J.Optim。,8, 3, 746-768 (1998) ·兹比尔0911.65047
[6] 安东尼特,P。;Tzoumas,V。;Yang,H。;Carlone,L.,《Outlier-robust估计:硬度、最小调谐算法和应用》,IEEE Trans。机器人。,38, 281-301 (2021)
[7] ApS,M.:MATLAB手册的MOSEK优化工具箱。9.0版。(2019)。http://docs.mosek.com/9.0/toolbox/index.html
[8] Barak,B.,Brandao,F.G.,Harrow,A.W.,Kelner,J.,Steurer,D.,Zhou,Y.:超收缩性,平方和证明及其应用。摘自:第四十四届ACM计算理论年会论文集,第307-326页(2012)·兹比尔1286.68176
[9] Bay,H.、Tuytelaars,T.、Van Gool,L.:冲浪:加速强大功能。摘自:欧洲计算机视觉会议,第404-417页。斯普林格(2006)
[10] 贝克,A。;Teboulle,M.,线性反问题的快速迭代收缩阈值算法,SIAM J.成像科学。,2, 1, 183-202 (2009) ·Zbl 1175.94009号
[11] Bertsekas,D.,《非线性规划》(1999),纳舒亚:雅典娜科学出版社·Zbl 1015.90077号
[12] Blekherman,G。;宾夕法尼亚州帕里罗;Thomas,RR,《半定优化与凸代数几何》(2020),费城:SIAM,费城·Zbl 1260.90006号
[13] Boumal,N。;米什拉,B。;Absil,宾夕法尼亚州;Sepulchre,R.,Manopt,用于流形优化的Matlab工具箱,J.Mach。学习。第15、42、1455-1459号决议(2014年)·Zbl 1319.90003号
[14] Boumal,N.,Voroninski,V.,Bandeira,A.S.:非凸Burr-Monteiro方法适用于光滑半定规划。In:神经信息处理系统会议(NeurIPS)(2016年)·Zbl 1445.90074号
[15] Briales,J.,Gonzalez-Jimenez,J.:具有拉格朗日对偶性的凸全局三维注册。摘自:IEEE计算机视觉和模式识别会议记录,第4960-4969页(2017)
[16] Burer,S。;Monteiro,RD,通过低秩因式分解求解半定规划的非线性规划算法,数学。程序。,95, 2, 329-357 (2003) ·Zbl 1030.90077号
[17] Burer,S。;Ye,Y.,一类(随机和非随机)非凸二次规划的精确半定公式,数学。程序。,181,1-17(2020)·Zbl 1445.90073号
[18] 坎迪斯,EJ;Eldar,YC;斯特罗默,T。;Voroninski,V.,《通过矩阵补全进行相位恢复》,SIAM Rev.,57,2,225-251(2015)·Zbl 1344.49057号
[19] Chen,L。;Sun,D。;Toh,K.,一种用于高维凸组合二次曲线规划的高效非精确对称高斯-赛德尔优化ADMM,数学。程序。,161, 237-270 (2017) ·Zbl 1356.90105号
[20] Cifuentes,D.,计算最近结构秩亏矩阵的凸松弛,SIAM J.矩阵分析。申请。,42, 2, 708-729 (2021) ·Zbl 1466.15031号
[21] Cifuentes博士。;阿加瓦尔,S。;宾夕法尼亚州帕里罗;Thomas,RR,关于半定松弛的局部稳定性,数学。程序。,193, 629-663 (2022) ·Zbl 1494.90067号
[22] Combettes,P.L.,Pesquet,J.C.:信号处理中的近距离分裂方法。摘自:《科学与工程反问题的定点算法》,第185-212页。施普林格(2011)·Zbl 1242.90160号
[23] 崔,Y。;Sun,D。;Toh,KC,关于凸复合圆锥规划的增广拉格朗日方法生成的KKT残差的R-超线性收敛性,数学。程序。,178, 1, 381-415 (2019) ·Zbl 1423.90171号
[24] 戴,YH;Yuan,Y.,一种具有强全局收敛性的非线性共轭梯度法,SIAM J.Optim。,10, 1, 177-182 (1999) ·Zbl 0957.65061号
[25] De Klerk,E.,《单纯形、超立方体或球体上优化的复杂性:一项简短调查》,CEJOR,16,2,111-125(2008)·Zbl 1152.90607号
[26] 多尔蒂,AC;宾夕法尼亚州帕里罗;Spedalieri,FM,完整的可分性标准系列,Phys。版本A,69,2(2004)
[27] Dolan,ED;Moré,JJ,带性能配置文件的基准优化软件,数学。程序。,91, 2, 201-213 (2002) ·邮编:1049.90004
[28] 方,K。;Fawzi,H.,球面上的平方和层次结构及其在量子信息论中的应用,数学。程序。,190331-360(2020)·Zbl 1478.90077号
[29] 福田,M。;小岛,M。;Murota,K。;Nakata,K.,通过矩阵补全利用半定规划中的稀疏性I:一般框架,SIAM J.Optim。,11, 3, 647-674 (2001) ·Zbl 1010.90053号
[30] Gamarnik,D.,Kízílda,E.C.:随机数划分问题中的算法障碍。arXiv预打印arXiv:2103.01369(2021)·Zbl 1474.68161号
[31] 墨西哥戈曼斯;Williamson,DP,使用半定规划求解最大割和可满足性问题的改进近似算法,J.ACM(JACM),42,6,1115-1145(1995)·Zbl 0885.68088号
[32] Helmberg,C。;伦德尔,F。;Weismantel,R.,二次背包问题的半定规划方法,J.Comb。最佳。,4, 2, 197-215 (2000) ·Zbl 0970.90075号
[33] 亨利安,D。;Lasserre,JB,GloptiPoly:使用Matlab和SeDuMi对多项式进行全局优化,ACM Trans。数学。柔和。(TOMS),29,2,165-194(2003)·Zbl 1070.65549号
[34] 亨利安,D。;Malick,J.,圆锥可行性问题的投影方法:多项式平方和分解的应用,Optim。方法软件。,26, 1, 23-46 (2011) ·Zbl 1228.90071号
[35] Henrion,D.,Malick,J.:圆锥优化中的投影方法。收录于:《半定、二次曲线和多项式优化手册》,第565-600页(2012年)·Zbl 1334.90105号
[36] 新泽西州海姆,《计算最近相关矩阵——金融问题》,IMA J.Numer。分析。,22, 3, 329-343 (2002) ·Zbl 1006.65036号
[37] Inc.,W.R.:Mathematica,第12.2版。https://www.wolfram.com/mathematica。伊利诺伊州香槟市(2020年)
[38] 蒋,K。;Sun,D。;Toh,KC,大规模线性约束凸SDP的非精确加速近似梯度法,SIAM J.Optim。,22, 3, 1042-1064 (2012) ·Zbl 1401.90120号
[39] Josz,C。;Henrion,D.,Lasserre多项式优化层次结构中的强对偶性,Optim。莱特。,2016年10月1日至10日·兹比尔1339.90267
[40] Kaltoffen,E.,Yang,Z.,Zhi,L.:具有线性约束系数和奇异多项式的几个多项式的近似最大公约数。摘自:2006年符号和代数计算国际研讨会论文集,第169-176页(2006)·Zbl 1356.12011年
[41] Lasserre,J.B.:非线性0-1程序的显式精确SDP松弛。摘自:整数规划和组合优化国际会议,第293-303页。斯普林格(2001)·Zbl 1010.90515号
[42] Lasserre,JB,多项式全局优化与矩问题,SIAM J.Optim。,11, 3, 796-817 (2001) ·兹比尔1010.90061
[43] Lasserre,JB,《矩、正多项式及其应用》(2009),新加坡:世界科学出版社,新加坡
[44] Laurent,M.,有限变种的半定表示,数学。程序。,109, 1, 1-26 (2007) ·Zbl 1152.90007
[45] 李,X。;Sun,D。;Toh,KC,凸组合二次规划的块对称高斯-赛德尔分解定理及其应用,数学。程序。,175, 1, 395-418 (2019) ·Zbl 1412.90086号
[46] Ling,C。;聂,J。;齐,L。;Ye,Y.,单位球面上的双二次优化与半定规划松弛,SIAM J.Optim。,20, 3, 1286-1310 (2010) ·Zbl 1221.90074号
[47] 罗,ZQ;马,WK;因此,AMC;Ye,Y。;张,S.,二次优化问题的半定松弛,IEEE信号处理。Mag.,27,3,20-34(2010)
[48] Mai,N.H.A.,Magron,V.,Lasserre,J.B.:多项式优化的谱松弛层次。arXiv预打印arXiv:2007.09027(2020)
[49] Malick,J.,《半定最小二乘问题的对偶方法》,SIAM J.矩阵分析。申请。,26, 1, 272-284 (2004) ·Zbl 1080.65027号
[50] Malick,J。;Povh,J。;伦德尔,F。;Wiegele,A.,半定规划的正则化方法,SIAM J.Optim。,2036-356(2009年)·兹比尔1187.90219
[51] Malick,J。;Sendov,HS,Clarke,正半定矩阵锥上投影的广义Jacobian,集值分析。,14, 3, 273-293 (2006) ·Zbl 1100.49033号
[52] Markovsky,I.,结构化低阶近似及其应用,Automatica,44,4,891-909(2008)·Zbl 1283.93061号
[53] 马可夫斯基,I。;Usevich,K.,《加权结构低阶近似软件》,J.Compute。申请。数学。,256, 278-292 (2014) ·Zbl 1314.65067号
[54] 马尔科夫斯基,I。;Van Huffel,S.,总最小二乘法概述,信号处理。,87, 10, 2283-2302 (2007) ·Zbl 1186.94229号
[55] Meneghetti,G.、Danelljan,M.、Felsberg,M.和Nordberg,K.:稀疏结构环境中全景拼接的图像对齐。摘自:《斯堪的纳维亚图像分析会议》,第428-439页。斯普林格(2015)
[56] Mertens,S.:数字分区。In:计算复杂性和统计物理,p.125(2006)·Zbl 1156.82321号
[57] Nesterov,Y.,凸优化讲座(2018),柏林:施普林格,柏林·Zbl 1427.90003号
[58] Nie,J.,实际变量多项式优化,SIAM J.Optim。,23, 3, 1634-1646 (2013) ·Zbl 1286.65079号
[59] Nie,J.,Lasserre层次的最优性条件和有限收敛,数学。程序。,146, 1, 97-121 (2014) ·Zbl 1300.65041号
[60] Nocedal,J。;Wright,S.,《数值优化》(2006),柏林:施普林格出版社,柏林·Zbl 1104.65059号
[61] 帕里罗,PA,半代数问题的半定规划松弛,数学。程序。,96, 2, 293-320 (2003) ·Zbl 1043.14018号
[62] 齐,H。;Sun,D.,计算最近相关矩阵的二次收敛牛顿法,SIAM J.matrix Ana。申请。,28, 2, 360-385 (2006) ·Zbl 1120.65049号
[63] Rockafellar,RT,共轭对偶与优化(1974),费城:SIAM,费城·兹比尔0296.90036
[64] Rockafellar,RT,增广拉格朗日和近点算法在凸规划中的应用,数学。操作。第1、2、97-116号决议(1976年)·兹比尔0402.90076
[65] Rockafellar,RT,Monotone操作符和近点算法,SIAM J.Control。最佳。,14, 5, 877-898 (1976) ·Zbl 0358.90053号
[66] Rosen,D.M.:可扩展低秩半定规划,用于证明正确的机器感知。In:机器人算法基础国际研讨会(WAFR),第3卷(2020年)·Zbl 1469.68133号
[67] 罗森,DM;Carlone,L。;澳大利亚班德拉;Leonard,JJ,SE同步:一种在特殊欧几里得群Int.J.Robot上进行同步的可证明正确的算法。研究,38,2-3,95-125(2019)
[68] 罗森,JB;帕克,H。;Glick,J.,《结构化问题的总体最小范数公式和解决方案》,SIAM J.矩阵分析。申请。,17, 1, 110-126 (1996) ·Zbl 0843.65028号
[69] Rusu,R.,Blodow,N.,Beetz,M.:三维注册的快速点特征直方图(FPFH)。摘自:IEEE机器人与自动化国际会议(ICRA),第3212-3217页。Citeser(2009)
[70] Shi,J.,Yang,H.,Carlone,L.:类别级三维物体感知的最佳姿势和形状估计。主题:机器人:科学与系统(RSS)(2021)
[71] Shi,J.,Yang,H.,Carlone,L.:罗宾:在使用不变量的稳健估计中拒绝离群值的图形理论方法。参加:IEEE机器人与自动化国际会议(2021年)
[72] 新西兰肖尔,《多项式和布尔规划中的双重二次估计》,《年鉴》。第25号、第1号、第163-168号决议(1990年)·Zbl 0783.90081号
[73] Sun,D。;Toh,KC;杨,L.,具有4类约束的圆锥规划的收敛的3块半最近交替方向乘子法,SIAM J.Optim。,25, 2, 882-915 (2015) ·Zbl 1328.90083号
[74] Toh,KC,通过增广系统上的迭代求解器求解大规模半定程序,SIAM J.Optim。,14, 3, 670-698 (2004) ·Zbl 1071.90026号
[75] Toh,KC;托德,MJ;TüTüncü,RH,SDPT3-半定规划的MATLAB软件包,1.3版,Optim。方法软件。,11,1-4,545-581(1999年)·兹比尔0997.90060
[76] Waki,H。;Kim,S。;小岛,M。;Muramatsu,M.,结构稀疏多项式优化问题的平方和和半定规划松弛,SIAM J.Optim。,17, 218-242 (2006) ·Zbl 1109.65058号
[77] AL Wang;Kílínç-Karzan,F.,关于QCQPs的SDP松弛的紧密性,数学。程序。,193, 33-73 (2022) ·Zbl 1491.90114号
[78] Wang,J。;马格隆,V。;Lasserre,JB,Chordal-TSSOS:一个利用弦扩展的术语稀疏性的moment-SOS层次结构,SIAM J.Optim。,31, 1, 114-141 (2021) ·Zbl 1457.90106号
[79] Wang,J。;马格伦,V。;Lasserre,JB,TSSOS:利用术语稀疏性的moment-SOS层次结构,SIAM J.Optim。,31, 1, 30-58 (2021) ·Zbl 1506.90202号
[80] Wu,G。;Sun,J。;Chen,J.,切换系统的最优线性二次调节器,IEEE Trans。自动。控制,64,7,2898-2904(2018)·Zbl 1482.93292号
[81] Yang,H。;安东尼特,P。;Tzoumas,V。;Carlone,L.,《稳健空间感知的分级非凸性:从非最小解算器到全局异常值拒绝》,IEEE Robot。自动。莱特。(RA-L),5,2,1127-1134(2020)
[82] Yang,H.,Carlone,L.:极端异常率鲁棒配准的多项式时间解。In:机器人:科学与系统(RSS)(2019年)
[83] Yang,H.,Carlone,L.:带离群值的Wahba问题的基于四元数的可证明最优解。摘自:IEEE/CVF计算机视觉国际会议记录,第1665-1674页(2019年)
[84] Yang,H.,Carlone,L.:完美形状:从二维地标进行经验证的最佳三维形状重建。摘自:IEEE/CVF计算机视觉和模式识别会议记录,第621-630页(2020年)
[85] Yang,H.,Carlone,L.:一环统领一切:具有异常值的可靠几何感知。In:神经信息处理系统会议(NeurIPS)(2020年)
[86] Yang,H.等人。;史,J。;Carlone,L.,Teaser:快速可认证点云注册,IEEE Trans。机器人。,37, 314-333 (2020)
[87] Yang,L。;Sun,D。;Toh,KC,SDPNAL+:非负约束半定规划的优化半光滑Newton-CG增广拉格朗日方法,数学。程序。计算。,7, 3, 331-366 (2015) ·Zbl 1321.90085号
[88] Yurtsever,A。;JA特罗普;费尔科克,O。;尤德尔,M。;Cevher,V.,可伸缩半定编程,SIAM J.Math。数据科学。,3, 1, 171-200 (2021) ·Zbl 1470.90068号
[89] Zeng,A.、Song,S.、Nießner,M.、Fisher,M.,Xiao,J.、Funkhouser,T.:3dmatch:学习范围扫描中局部三维几何体的匹配。摘自:IEEE计算机视觉和模式识别会议记录,第1卷,第4页(2017年)
[90] 张,RY;Lavaei,J.,通过对偶团树转换保证近线性时间复杂性的稀疏半定程序,数学。程序。,188, 1, 351-393 (2021) ·Zbl 1470.90070
[91] XY赵;Sun,D。;Toh,KC,半定规划的Newton-CG增广拉格朗日方法,SIAM J.Optim。,20, 4, 1737-1765 (2010) ·Zbl 1213.90175号
[92] 郑毅。;范图齐,G。;Papachristodoulou,A。;Goulart,P。;Wynn,A.,稀疏半定程序的算子分裂方法中的弦分解,数学。程序。,180, 1, 489-532 (2020) ·Zbl 1434.90126
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。