阿尔卑斯山尤瑟夫；乔尔·特罗普。；奥利维尔·费尔科克；马德琳·乌德尔；沃尔坎·塞弗尔 可伸缩半定规划。 （英语） Zbl 1470.90068号 SIAM J.数学。数据科学。 3，第1号，171-200（2021）. 摘要：半定规划（SDP）是一个来自凸优化的强大框架，在数据科学应用中具有巨大潜力。本文通过节省存储和算法成本，开发了一种可证明正确的随机算法来解决大型弱约束SDP问题。数值证据表明，该方法对于一系列应用是有效的，包括松弛MaxCut公司抽象相位检索和二次分配。该算法在笔记本电脑上运行，可以处理矩阵变量有超过10个条目的SDP实例。 引用于19文件 MSC公司： 90C22型 半定规划 65千5 数值数学规划方法 65层99 数值线性代数 关键词：增广拉格朗日函数；条件梯度法；凸优化；尺寸缩减；一阶方法；随机线性代数；半定规划；绘制草图 软件：莫塞克；ARPACK公司；二甲基丙烯酸甲酯；QAPLIB公司；塞杜米；SDPT3系统；TSPLIB公司；SE同步；SDPLR公司；ProxSDP传感器；马诺普特；算法971；SDPNAL公司+ PDF格式BibTeX公司 XML格式引用 \textit{A.Yurtsever}等人，SIAM J.数学。数据科学。3，编号1，171--200（2021；Zbl 1470.90068） 全文： 内政部 arXiv公司 参考文献： [1] P.-A.Absil、C.Baker和K.Gallivan，黎曼流形上的信赖域方法，Found。计算。数学。，7（2007），第303-330页·Zbl 1129.65045号 [2] A.Y.Alfakih、A.Khandani和H.Wolkowicz，通过半定规划求解欧几里德距离矩阵完备问题，计算。最佳方案。申请。，12（1999），第13-30页·Zbl 1040.90537号 [3] F.Alizadeh，《用内点方法和半定矩阵进行组合优化》，明尼苏达大学博士论文，1991年。 [4] F.Alizadeh，半定规划中的内点方法及其在组合优化中的应用，SIAM J.Optim。，5（1995），第13-51页·Zbl 0833.90087号 [5] F.Alizadeh、J.-P.A.Haeberly和M.L.Overton，《半定规划中的互补性和非退化性》，数学。程序。，77（1997），第111-128页·Zbl 0890.90141号 [6] F.Alizadeh，J.-P.A.Haeberly，M.L.Overton，《半定规划的原对偶内点方法：收敛速度、稳定性和数值结果》，SIAM J.Optim。，8（1998），第746-768页·Zbl 0911.65047号 [7] Z.Allen-Zhu、Y.T.Lee和L.Orecchia，使用优化获得宽度无关、并行、更简单和更快的正SDP解算器，https://arxiv.org/abs/1507.02259, 2015. ·Zbl 1411.68180号 [8] Z.Allen-Zhu和Y.Li，《跟随压缩领导者：更快的特征向量在线学习和更快的MMWU》，https://arxiv.org/abs/1701.01722, 2017. [9] M.F.Anjos和J.B.Lasserre，《半定、二次曲线和多项式优化手册》，纽约斯普林格出版社，2012年·Zbl 1235.90002号 [10] S.Arora、E.Hazan和S.Kale，《使用乘法权重更新方法的近似半定规划的快速算法》，载于《第46届IEEE计算机科学基础年度研讨会论文集》，华盛顿特区，2005年，第339-348页。 [11] S.Arora和S.Kale，半定规划的组合原对偶方法，J.ACM，63（2016），第12:12:35页·Zbl 1426.68301号 [12] D.Bader、H.Meyerhenke、P.Sanders和D.Wagner，图分区和图聚类，第十届DIMACS实施挑战研讨会，2012年，https://www.cise.ufl.edu/research/sparse/matrices/DIMACS10/index.html。 ·Zbl 1262.05001号 [13] M.Baes、M.Bu¨rgisser和A.Nemirovski，求解结构化大规模矩阵鞍点问题的随机镜像-插值方法，SIAM J.Optim。，23（2013），第934-962页·Zbl 1295.90039号 [14] R.Balan、B.G.Bodmann、P.G.Casazza和D.Edidin，根据帧系数大小进行无痛重建，J.Fourier Anal。申请。，15（2009），第488-501页·Zbl 1181.42032号 [15] R.Balan、P.Casazza和D.Edidin，无相位信号重建，应用。计算。哈蒙。分析。，20（2006年），第345-356页·1090.94006兹罗提 [16] A.Barvinok，凸性课程，AMS，普罗维登斯，RI，2002年·Zbl 1014.52001年 [17] A.Ben-Tal和A.Nemirovski，《现代凸优化讲座：分析、算法和工程应用》，MOS-SIAM Ser。最佳方案。Z、 SIAM，费城，2001年·Zbl 0986.90032号 [18] D.P.Bertsekas，约束优化和拉格朗日乘子方法，计算。科学。申请。数学。，学术出版社，纽约，1982年·Zbl 0572.90067号 [19] S.Bhojanapalli、N.Boumal、P.Jain和P.Netrapalli，二次惩罚形式半定规划低阶解的平滑分析，《第31届学习理论会议论文集》，PMLR 752018年，第3243-3270页。 [20] N.Boumal，B.Mishra，P.-A.Absil和R.Sepulchre，Manopt，一个用于流形优化的MATLAB工具箱，J.Mach。学习。Res.，15（2014），第1455-1459页·Zbl 1319.90003号 [21] N.Boumal、V.Voroninski和A.Bandeira，非凸Burr-Monteiro方法适用于光滑半定程序，载于《神经信息处理系统进展》2016年第29期，第2757-2765页。 [22] M.Brand，薄奇异值分解的快速低阶修正，线性代数应用。，415（2006），第20-30页·Zbl 1088.65037号 [23] J.F.S.Bravo Ferreira、Y.Khoo和A.Singer，稀疏图二次分配问题的半定规划方法，计算。最佳方案。申请。，69（2018），第677-712页·Zbl 1415.90071号 [24] S.Burer和R.D.Monteiro，通过低秩因式分解求解半定规划的非线性规划算法，数学。程序。，95（2003），第329-357页·Zbl 1030.90077号 [25] S.Burer和R.D.Monteiro，低秩半定规划中的局部极小和收敛性，数学。程序。，103（2005），第427-444页·Zbl 1099.90040号 [26] S.Burer和D.Vandenbussche，求解二进制整数程序的lift-project松弛，SIAM J.Optim。，16（2006），第726-750页·Zbl 1113.90100号 [27] R.E.Burkard、S.E.Karisch和F.Rendl，QAPLIB-二次分配问题库，J.Global Optim。，10（1997年），第391-403页·Zbl 0884.90116号 [28] E.J.Candès、X.Li和M.Soltanolkotabi，编码衍射图案的相位恢复，应用。计算。哈蒙。分析。，39（2015），第277-299页·Zbl 1329.78056号 [29] Y.Carmon、J.C.Duchi、S.Aaron和T.Kevin，矩阵乘法权重的一级草图，第32届学习理论会议论文集，PMLR 992019，第589-623页。 [30] A.Chai、M.Moscoso和G.Papanicolaou，《仅使用强度测量的阵列成像》，《反问题》，27（2010），015005·兹比尔1207.78022 [31] D.Cifuentes，Burer-Monteiro一般半定规划保证，https://arxiv.org/abs/1904.07147, 2019. ·兹比尔1475.90053 [32] K.L.Clarkson，Coresets，稀疏贪婪近似，以及Frank-Wolfe算法，ACM Trans。《算法》，6（2010），第63:1-63:30页·Zbl 1300.90026号 [33] J.L.Conrad，马尔堡病毒出血热：细胞结构和组织病理学，https://pixnio.com/de/wissenschaft/mikroskopische-aufnahmen/hamorrhagisches-fieber-marburg-virus/cytoarchitectural-histopathologischen-erkannt-niere-probe-marburk-patient。 [34] C.Delorme和S.Poljak，拉普拉斯特征值和最大割问题，数学。编程，62（1993），第557-574页·Zbl 0797.90107号 [35] C.Delorme和S.Poljak，某些图类中max-cut问题的特征值界的性能，离散数学。，111（1993），第145-156页·Zbl 0786.05057号 [36] L.Ding、A.Yurtsever、V.Cevher、J.A.Tropp和M.Udell，使用近似互补的半定规划的最优存储方法，https://arxiv.org/abs/1902.03373, 2019. ·Zbl 1420.65060号 [37] M.Fazel，矩阵秩最小化及其应用，博士论文，斯坦福大学，加利福尼亚州帕洛阿尔托，2002年。 [38] J.R.Fienup，相位恢复算法：比较，应用。《光学》，21（1982），第2758-2769页。 [39] M.Frank和P.Wolfe，二次规划算法，海军研究后勤。四分之一。，3（1956年），第95-110页。 [40] D.Garber和E.Hazan，亚线性时间中的近似半定程序，《神经信息处理系统进展》，2011年第25期·Zbl 1346.90656号 [41] D.Garber和E.Hazan，近似半定规划的次线性时间算法，数学。编程，158（2016），第329-361页·Zbl 1346.90656号 [42] G.Gidel、F.Pedregosa和S.Lacoste-Julien，通过增广拉格朗日方法的Frank-Wolfe分裂，《第21届人工智能与统计国际会议论文集》，PMLR 842018，第1456-1465页。 [43] A.Gittens，《随机数值线性代数专题》，博士论文，加州理工学院，帕萨迪纳，2013年·Zbl 1286.65054号 [44] M.X.Goemans和D.P.Williamson，使用半定规划求解最大割和可满足性问题的改进近似算法，J.ACM，42（1995），第1115-1145页·Zbl 0885.68088号 [45] N.Halko、P.G.Martinsson和J.A.Tropp，《发现随机结构：构造近似矩阵分解的概率算法》，SIAM Rev.，53（2011），第217-288页·Zbl 1269.65043号 [46] E.Hazan，半定规划的稀疏近似解，收录于《拉丁文2008：理论信息学》，2008年，第306-316页·Zbl 1136.90430号 [47] S.Homer和M.Peinado，maxcut并行和分布式近似算法的设计与性能，J.并行分布计算。，46（1997），第48-61页。 [48] R.Horstmeyer、R.Y.Chen、X.Ou、B.Ames、J.A.Tropp和C.Yang，用凸松弛法解决眼科成像，新物理学杂志。，17 (2015), 053044. [49] Q.Huang，Y.Chen和L.Guibas，最大后验估计的可伸缩半定松弛，第31届机器学习国际会议论文集，PMLR 322014，第64-72页。 [50] M.Jaggi，《重新审视Frank-Wolfe:无投影稀疏凸优化》，载于《第30届机器学习国际会议论文集》，PMLR 282013年，第427-435页。 [51] L.K.Jones，关于Hilbert空间贪婪逼近和投影寻踪回归及神经网络训练收敛速度的简单引理，Ann.Statist。，20（1992年），第608-613页·Zbl 0746.62060号 [52] R.Jonker和A.Volgenant，密集和稀疏线性分配问题的最短增广路径算法，《计算》，38（1987），第325-340页·Zbl 0607.90056号 [53] A.P.Kamath和N.K.Karmarkar，计算整数二次优化问题边界的连续方法，J.Global Optim。，2（1991年），第229-241页·Zbl 0762.90058号 [54] A.P.Kamath和N.K.Karmarkar，二次优化问题中计算边界的An\（O（nL）\）迭代算法，《数值优化的复杂性》，世界科学，新泽西州River Edge，1993年，第254-268页·Zbl 0968.90502号 [55] R.M.Karp，组合问题中的可约性，《计算机计算复杂性》，施普林格，纽约，1972年，第85-103页·Zbl 1467.68065号 [56] K.Krishnan和T.Terlaky，组合优化中的内点和半定方法，收录于图论和组合优化，Springer，纽约，2005年·邮编1098.90089 [57] J.Kuczynáski和H.Wozániakowski，通过随机启动的幂和Lanczos算法估计最大特征值，SIAM J.Matrix Anal。申请。，13（1992年），第1094-1122页·Zbl 0759.65016号 [58] H.Kuhn，分配问题的匈牙利方法，海军研究后勤。四分之一。，2（1955年），第83-97页·Zbl 0143.41905号 [59] B.Kulis、A.C.Surendran和J.C.Platt，用于嵌入和聚类的快速低秩半定规划，《第11届国际人工智能与统计会议论文集》，第2卷，波多黎各圣胡安，2007年，第235-242页。 [60] J.Lavaei和S.H.Low，最优潮流问题中的零二元缺口，IEEE Trans。电力系统。，27（2012），第92-107页。 [61] Y.T.Lee和S.Padmanabhan，对角线约束半定规划的An（tilde{O}（m/varepsilon^3.5）-代价算法，《学习理论会议论文集》，2020年，第3069-3119页。 [62] R.B.Lehoucq、D.C.Sorensen和C.Yang，《ARPACK用户指南：用隐式重启Arnoldi方法解决大规模特征值问题》，《软件环境》。工具6，SIAM，费城，1998年·Zbl 0901.65021号 [63] E.S.Levitin和B.T.Poljak，约束条件下的最小化方法，Ž。Vyc岛。Mat.Mat.Fiz.，材料Fiz。，6（1966年），第787-823页·Zbl 0184.38902号 [64] H.Li、G.C.Linderman、A.Szlam、K.P.Stanton、Y.Kluger和M.Tygert，《算法971：用于主成分分析的随机算法的实现》，ACM Trans。数学。软件，43（2017），28·Zbl 1391.65085号 [65] Y.-F.Liu，X.Liu和S.Ma，关于复合凸规划的不精确增广拉格朗日框架的非正则收敛速度，数学。操作。决议，44（2019），第632-650页·Zbl 1441.90119号 [66] E.M.Loiola、N.M.M.de Abreu、P.O.Boaventura-Netto、P.Hahn和T.Querido，二次分配问题的调查，欧洲J.Oper。研究，176（2007），第657-690页·Zbl 1103.90058号 [67] A.Majumdar、G.Hall和A.A.Ahmadi，《机器学习、控制和机器人应用的半定规划近期可扩展性改进综述》，http://arXiv.org/abs/1908.05209, 2019. [68] M.Mesbahi和G.P.Papavassilopoulos，关于半正定线性矩阵不等式上的秩最小化问题，IEEE Trans。自动化。控制，42（1997），第239-243页·Zbl 0872.93029号 [69] L.Mirsky，对称规范函数和酉不变范数，夸特。数学杂志。牛津大学。（2） 第11页（1960年），第50-59页·Zbl 0105.01101号 [70] MATLAB手册的MOSEK优化工具箱。第9.0版，Mosek ApS，2019年。 [71] J.Munkres，分配和运输问题的算法，J.SIAM，5（1957），第32-38页·Zbl 0083.15302号 [72] A.Nemirovski，关于Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的收敛速度为O（1/t）的Prox方法，SIAM J.Optim。，15（2004年），第229-251页·Zbl 1106.90059号 [73] Y.Nesterov，《凸优化入门讲座：基础课程》，Springer，纽约，2004年·兹比尔1086.90045 [74] Y.Nesterov，凸问题的原始对偶次梯度方法，数学。程序。，120（2009），第221-259页·Zbl 1191.90038号 [75] Y.Nesterov和A.Nemirovski，凸规划中的自协调函数和多项式时间方法，中央经济与数学研究所报告，苏联科学院，1990年。 [76] Y.Nesterov和A.Nemirovski，凸规划中的内点多项式算法，SIAM，费城，1994年·Zbl 0824.90112号 [77] B.N.Parlett，对称特征值问题，应用经典。数学。20，SIAM，费城，1998年，https://doi.org/10.1137/1.9781611971163。 ·Zbl 0885.65039号 [78] P.Parrilo，《鲁棒性和优化中的结构化半定程序和半代数几何方法》，博士论文，加州理工学院，帕萨迪纳，2000年。 [79] G.Pataki，关于半定程序中极值矩阵的秩和最优特征值的多重性，数学。操作。Res.，23（1998），第339-358页·Zbl 0977.90051号 [80] R.Peng和K.Tangwongsan，正半定规划的更快和更简单的宽相关并行算法，《第24届ACM算法和架构并行性研讨会论文集》，2012年，第101-108页。 [81] T.Pumir、S.Jelassi和N.Boumal，光滑半定程序低阶方法的平滑分析，《神经信息处理系统进展》，2018年第31期，第2281-2290页。 [82] A.Raghunathan、J.Steinhardt和P.Liang，用于证明对抗性示例的稳健性的半定松弛，摘自《神经信息处理系统进展》2018年第31期，第10900-10910页。 [83] G.Reinelt、TSPLIB、，http://comopt.ifi.uni-heidelberg.de/software/TSPLIB95/。 [84] D.M.Rosen、L.Carlone、A.S.Bandeira和J.J.Leonard，《SE-sync:在特殊欧几里德群（Int.J.Robot）上进行同步的一种经验证的正确算法》。研究，38（2019），第95-125页。 [85] M.F.Sahin、A.Eftekhari、A.Alacaoglu、F.Latorre和V.Cevher，非线性约束非凸优化的不精确增广拉格朗日框架，《神经信息处理系统进展》322019年，第13965-13977页。 [86] S.Sahni和T.Gonzalez，P-完全近似问题，美国计算机学会，23（1976），第555-565页·Zbl 0348.90152号 [87] A.Silveti-Falls、C.Molinari和J.Fadili，复合最小化的增广拉格朗日广义条件梯度，https://arxiv.org/abs/1901.01287, 2019. ·Zbl 1450.65054号 [88] M.Souto、J.D.Garcia和A.Veiga，通过近似算子分裂在半定规划中利用低秩结构，https://arxiv.org/abs/1810.05231, 2018. [89] N.Srebro，《矩阵分解学习》，麻省理工学院博士论文，剑桥，2004年。 [90] J.Sturm，使用SeDuMi 1.02，一个用于对称锥优化的MATLAB工具箱，Optim。方法软件。，11-12（1999），第625-653页·Zbl 0973.90526号 [91] Y.Sun、Y.Guo、J.A.Tropp和M.Udell，低记忆维度缩减的张量随机投影，NeurIPS关系表征学习研讨会，2018年。 [92] K.A.Toh、M.J.Todd和R.H.Tu¨Tu¨ncu¨，SDPT3-A Matlab半定规划软件包，优化方法和软件，Optim。方法软件。，11（1999），第545-581页·Zbl 0997.90060号 [93] J.A.Tropp、A.Yurtsever、M.Udell和V.Cevher，流式数据中正semidefinite矩阵的Fixed-rank近似，收录于《神经信息处理系统进展》2017年第30期，第1225-1234页·Zbl 1379.65026号 [94] J.A.Tropp、A.Yurtsever、M.Udell和V.Cevher，低阶矩阵近似的实用草图算法，SIAM J.matrix Anal。申请。，38（2017），第1454-1485页·Zbl 1379.65026号 [95] J.A.Tropp、A.Yurtsever、M.Udell和V.Cevher，科学模拟应用中的流式低秩矩阵近似，SIAM J.Sci。计算。，41（2019年），第A2430-A2463页·Zbl 1420.65060号 [96] K.Tsuda、G.Raítsch和M.K.Warmuth，《在线学习和Bregman投影的矩阵指数梯度更新》，J.Mach。学习。Res.，6（2005），第995-1018页·Zbl 1222.68322号 [97] I.Waldspurger和A.Waters，Burr-Monteiro因子分解的秩最优性，https://arxiv.org/abs/1812.03046, 2018. ·Zbl 1451.90114号 [98] Z.Wen、D.Goldfarb、S.Ma和K.Scheinberg，《半定规划的逐行方法》，IEOR报告，哥伦比亚大学，2009年。 [99] Z.Wen、D.Goldfarb和W.Yin，半定规划的交替方向增广拉格朗日方法，数学。程序。计算。，2（2010年），第203-230页·兹伯利1206.90088 [100] L.Yang，D.Sun，and K.-C.Toh，SDPNAL+：非负约束半定规划的优化半光滑Newton-CG增广拉格朗日方法，数学。项目。计算。，7（2015），第331-366页·Zbl 1321.90085号 [101] Y.Ye，GSet随机图，https://www.cise.uf.edu/research/sarse/matrixes/Gset/。 [102] A.Yurtsever、O.Fercoq和V.Cevher，基于条件梯度的增广拉格朗日框架，第36届机器学习国际会议论文集，PMLR 972019，第7272-7281页。 [103] A.Yurtsever、O.Fercoq、F.Locatello和V.Cevher，复合凸极小化的条件梯度框架及其在半定规划中的应用，《第35届机器学习国际会议论文集》，PMLR 802018年，第5727-5736页。 [104] A.Yurtsever、Y.-P.Hsieh和V.Cevher，相位恢复的可缩放凸方法，《第六届多传感器自适应处理计算进展国际IEEE研讨会论文集》，2015年，第381-384页。 [105] A.Yurtsever、Q.Tran Dinh和V.Cevher，一个通用的原始-对偶凸优化框架，收录于《神经信息处理系统进展》2015年第28期，第3150-3158页。 [106] A.Yurtsever、M.Udell、J.Tropp和V.Cevher，《Sketchy决策：具有最优存储的凸低秩矩阵优化》，载于《第20届国际人工智能与统计会议论文集》，PMLR，2017年第54期，第1188-1196页。 [107] M.Zaslavskiy、F.Bach和J.Vert，图匹配问题的路径跟踪算法，IEEE Trans。模式分析。机器。英特尔。，31（2009年），第2227-2242页。 [108] Q.Zhao，S.E.Karisch，F.Rendl，H.Wolkowicz，二次分配问题的半定规划松弛，J.Combin.Optim。，2（1998年），第71-109页·Zbl 0904.90145号 [109] X.-Y.Zhao，D.Sun，K.-C.Toh，半定规划的Newton-CG增广拉格朗日方法，SIAM J.Optim。，20（2010年），第1737-1765页·Zbl 1213.90175号 [110] G.Zheng、R.Horstmeyer和C.Yang，《宽场高分辨率傅里叶成像显微镜》，《自然光子学》，第7期（2013年），第739-745页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。