×

通过广义幂方法改进了正交组同步的性能保证。 (英语) Zbl 1493.90145号

小结:给定一组未知群元素之间的噪声成对测量,如何有效且稳健地恢复它们?这个被称为组同步的问题在科学界引起了极大的关注。在这项工作中,我们将重点放在正交群同步上,正交群同步有许多应用,包括计算机视觉、机器人和低温电子显微镜。一种常用的方法是最小二乘估计,它需要求解高度非凸优化程序。在过去的几年里,通过凸松弛和有效的一阶方法,在解决这一具有挑战性的问题方面取得了相当大的进展。然而,一个基本的理论问题仍有待回答:恢复性能如何取决于噪声强度?为了回答这个问题,我们研究了一个基准模型:从被加性高斯噪声破坏的成对测量中恢复正交群元素。我们研究了凸松弛和广义幂方法(GPM)的性能。通过应用小说差一法技术上,我们证明了具有谱初始化的GPM具有线性收敛到全局最优解的凸松弛性,该凸松弛性也与极大似然估计相匹配。我们的结果在GPM的收敛性上达到了一个接近最优的性能界限,并大大提高了凸松弛紧性的最新理论保证。

MSC公司:

90C26型 非凸规划,全局优化
90立方 非线性规划
90立方厘米 数学规划中的最优性条件和对偶性
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] E.Abbe、A.S.Bandeira、A.Bracher和A.Singer,从删失边缘测量解码二进制节点标签:相变和有效恢复,IEEE Trans。网络科学。Eng.,1(2014),第10-22页。
[2] E.Abbe,J.Fan,K.Wang,Y.Zhong,低期望秩随机矩阵的条目特征向量分析,Ann.Statist。,48(2020年),第1452-1474页·Zbl 1450.62066号
[3] P.-A.Absil、R.Mahony和R.Sepulchre,矩阵流形上的优化算法,普林斯顿大学出版社,新泽西州普林斯顿,2009年·兹比尔1147.65043
[4] M.Arie-Nachimson、S.Z.Kovalsky、I.Kemelmacher-Shlizerman、A.Singer和R.Basri,基于点匹配的全球运动估计,2012年第二届3D成像、建模、处理、可视化和传输国际会议,IEEE,新泽西州皮斯卡塔韦,2012年,第81-88页。
[5] A.S.Bandeira、N.Boumal和A.Singer,角同步最大似然半定松弛的紧性,数学。程序。,163(2017年),第145-167页·Zbl 1365.90188号
[6] A.S.Bandeira、N.Boumal和V.Voroninski,《关于同步和社区检测中产生的半定程序的低秩方法》,JMLR研讨会会议程序。,49(2016),第361-382页。
[7] F.Benaych-Georges和R.R.Nadakuditi,大型随机矩阵有限低秩扰动的特征值和特征向量,高等数学。,227(2011),第494-521页·Zbl 1226.15023号
[8] N.Boumal,带块对角线约束的半定矩阵优化的黎曼低秩方法,预印本,arXiv:1506.005752015。
[9] N.Boumal,非凸相位同步,SIAM J.Optim。,26(2016),第2355-2377页·Zbl 1356.90111号
[10] N.Boumal、V.Voroninski和A.Bandeira,《非凸Burr-Monteiro方法在光滑半定程序中的应用》,载于《神经信息处理系统的进展》,Curran Associates,Red Hook,NY,2016年,第2757-2765页。
[11] N.Boumal,V.Voroninski和A.S.Bandeira,光滑半定规划的Burr-Monteiro分解的确定性保证,Comm.Pure Appl。数学。,73(2020年),第581-608页·Zbl 1445.90074号
[12] S.Burer和R.D.Monteiro,通过低秩因式分解求解半定规划的非线性规划算法,数学。程序。,95(2003),第329-357页·Zbl 1030.90077号
[13] S.Burer和R.D.Monteiro,低秩半定规划中的局部极小和收敛性,数学。程序。,103(2005),第427-444页·Zbl 1099.90040号
[14] E.J.Candes、X.Li和M.Soltanolkotabi,《通过Wirtinger流进行相位恢复:理论和算法》,IEEE Trans。通知。《理论》,61(2015),第1985-2007页·Zbl 1359.94069号
[15] K.N.Chaudhury,Y.Khoo和A.Singer,使用半定规划的多点云全局注册,SIAM J.Optim。,25(2015),第468-501页·Zbl 1322.90058号
[16] Y.Chen和E.J.CandeÉs,投影功率法:一种从成对差异中进行联合对齐的有效算法,Comm.Pure App。数学。,71(2018),第1648-1714页·Zbl 1480.90199号
[17] Y.Chen,Y.Chi,J.Fan,C.Ma,Y.Yan,《噪声矩阵完成:通过非凸优化了解凸松弛的统计保证》,SIAM J.Optim。,30(2020年),第3098-3121页·Zbl 1477.90060号
[18] Y.Chen、J.Fan、C.Ma和K.Wang,谱方法和正则化MLE都是排名靠前的最佳方法,Ann.Statist。,47(2019年),第2204-2235页·Zbl 1425.62038号
[19] Y.Chen,L.Guibas,and Q.Huang,通过凸松弛进行近最优联合对象匹配,第31届机器学习国际会议论文集,Curran Associates,Red Hook,NY,2014,第100-108页。
[20] Y.Chen、C.Suh和A.J.Goldsmith,从两两测量中恢复信息,IEEE Trans。通知。《理论》,62(2016),第5881-5905页·兹比尔1359.94945
[21] M.Cucuringu,通过\(\mathbb进行同步{Z} _2\)和带有约束的签名多路网络中的社区检测,J.Complex Netw。,3(2015),第469-506页·Zbl 1404.90039号
[22] M.Cucuringu、Y.Lipman和A.Singer,基于欧几里德群特征向量同步的传感器网络定位,ACM Tran。传感器净值。,8(2012),第1-42页。
[23] C.Davis和W.M.Kahan,特征向量的扰动旋转。\文本II,SIAM J.数字。分析。,7(1970年),第1-46页·Zbl 0198.47201号
[24] F.Dellaert、D.M.Rosen、J.Wu、R.Mahony和L.Carlone,《Shonan旋转平均:冲浪的全局最优性》(文本{SO}(p)^n),《欧洲计算机视觉会议》,瑞士查姆斯普林格,2020年,第292-308页。
[25] S.Deng、S.Ling和T.Strohmer,强一致性,图Laplacians和随机块模型,J.Mach。学习。《决议》,22(2021),第1-44页·Zbl 07370634号
[26] J.Eldridge、M.Belkin和Y.Wang,《未受干扰:超越Davis-Kahan的光谱分析》,Proc。机器。学习。研究,83(PMLR),83(2018),第321-358页·Zbl 1406.60014号
[27] J.Fan,W.Wang,和Y.Zhong,An(ell_{infty})特征向量扰动界及其在稳健协方差估计中的应用,J.Mach。学习。决议,18(2018),第1-42页·Zbl 1473.15015号
[28] A.Giridhar和P.R.Kumar,《无线网络上的分布式时钟同步:算法和分析》,第45届IEEE决策和控制会议论文集,IEEE,新泽西州皮斯卡塔韦,2006年,第4915-4920页。
[29] M.X.Goemans和D.P.Williamson,使用半定规划求解最大割和可满足性问题的改进近似算法,J.ACM,42(1995),第1115-1145页·Zbl 0885.68088号
[30] M.Grant和S.Boyd,CVX:MATLAB软件,用于约束凸编程,2.1版,2014年。
[31] D.Gross,从任何基础上的少数系数中恢复低秩矩阵,IEEE Trans。Informa公司。《理论》,57(2011),第1548-1566页·Zbl 1366.94103号
[32] Q.-X.Huang和L.Guibas,通过半定编程实现一致形状映射,计算。图表。《论坛》,32(2013),第177-186页。
[33] G.Lerman和Y.Shi,通过循环边消息传递实现鲁棒组同步,Found。计算。数学。,出现·Zbl 07619460号
[34] Y.Li,C.Ma,Y.Chen和Y.Chi,秩一测量的非凸矩阵分解,IEEE Trans。通知。《理论》,67(2021),第1928-1950页,https://doi.org/10.109/TIT.2021.3050427。 ·Zbl 1473.65050号
[35] S.Ling,通过谱方法实现正交和置换群同步的近最优性能界限,应用。计算。哈蒙。分析。,60(2022年),第20-52页·Zbl 1492.94033号
[36] S.Ling,通过凸优化和低秩优化解决正交群同步:紧密性和景观分析,预印本,arXiv:2006.00902200。
[37] S.Ling,广义正交Procrustes问题的广义幂方法:全局收敛和优化景观分析,预印本,arXiv:2106.154932021。
[38] S.Ling,通过广义幂方法求解广义正交过程问题的近最优界,预印本,arXiv:2112.137252021。
[39] S.Ling、R.Xu和A.S.Bandeira,《同步网络的前景:从非凸优化的角度》,SIAM J.Optim。,29(2019),第1879-1907页·Zbl 1427.90234号
[40] 刘浩、岳明珠、苏明珠,关于相位同步广义功率法的估计性能和收敛速度,SIAM J.Optim。,27(2017),第2426-2446页·Zbl 1387.90199号
[41] 刘浩,岳明珠,苏明珠,《正交群子群上同步问题的统一方法》,预印本,arXiv:2009.075142020。
[42] C.Ma,K.Wang,Y.Chi,Y.Chen,非凸统计估计中的隐式正则化:梯度下降线性收敛用于相位恢复、矩阵补全和盲反褶积,Found。计算。数学。,20(2020年),第451-632页·Zbl 1445.90089
[43] S.Mei、T.Misiakiewicz、A.Montanari和R.I.Oliveira,《通过Grothendieck不等式解决同步SDP和MaxCut问题》,学习理论会议,2017年,第1476-1515页。
[44] Y.Nesterov和A.Nemirovskii,凸规划中的内点多项式算法,SIAM,费城,1994年·Zbl 0824.90112号
[45] O.Ozyesil、V.Voroninski、R.Basri和A.Singer,《从运动看结构》,《数字学报》。,26(2017),第305-364页·Zbl 1377.65027号
[46] D.Pachauri、R.Kondor和V.Singh,通过置换同步解决多路匹配问题,摘自《神经信息处理系统进展》,Curran Associates,Red Hook,NY,2013年,第1860-1868页。
[47] A.Perry、A.S.Wein、A.S..Bandeira和A.Moitra,紧群上同步问题的消息传递算法,Comm.Pure Appl。数学。,71(2018),第2275-2322页·Zbl 1439.62143号
[48] A.Perry、A.S.Wein、A.S..Bandeira和A.Moitra,《PCA I的最优性和次最优性:尖峰随机矩阵模型》,Ann.Statist。,46(2018),第2416-2451页·Zbl 1404.62065号
[49] K.Rohe,S.Chatterjee,B.Yu,谱聚类和高维随机块模型,Ann.Statist。,39(2011),第1878-1915页·Zbl 1227.62042号
[50] E.Romanov和M.Gavish,紧群上谱群同步中的噪声敏感性相变,应用。公司。哈蒙。分析。,49 (2020). ·Zbl 07242756号
[51] D.M.Rosen、L.Carlone、A.S.Bandeira和J.J.Leonard,《SE-Sync:在特殊欧几里德群Int.J.Robot上进行同步的一种经验证的正确算法》。研究,38(2019),第95-125页。
[52] Y.Shen,Q.Huang,N.Srebro和S.Sanghavi,归一化光谱图同步,神经信息处理系统进展,Curran Associates,Red Hook,NY,2016年,第4925-4933页。
[53] Y.Shkolnisky和A.Singer,使用同步在低温电子显微镜中进行视觉方向估计,SIAM J.成像科学。,5(2012年),第1088-1110页·兹比尔1254.92058
[54] 辛格,特征向量和半定规划的角度同步,应用。计算。哈蒙。分析。,30(2011),第20-36页·Zbl 1206.90116号
[55] A.Singer,低温电子显微镜数学,《国际数学家大会(ICM)3世界科学学报》,新加坡,2018年,第3981-4000页·Zbl 1448.92115号
[56] A.Singer和Y.Shkolnisky,用特征向量和半定规划从低温电子显微镜的共线确定三维结构,SIAM J.成像科学。,4(2011),第543-572页·Zbl 1216.92045号
[57] R.Szeliski,《计算机视觉:算法和应用》,施普林格,纽约,2010年·兹比尔1478.68007
[58] R.Vershynin,《高维概率:数据科学应用导论》,剑桥大学。序列号。统计概率。数学。47,剑桥大学出版社,剑桥,2018年·Zbl 1430.60005号
[59] U.Von Luxburg,光谱聚类教程,统计计算。,17(2007),第395-416页。
[60] I.Waldspurger和A.Waters,Burer-Monteiro因式分解的秩最优性,SIAM J.Optim。,30(2020年),第2577-2602页·Zbl 1451.90114号
[61] L.Wang和A.Singer,稳健同步旋转的精确和稳定恢复,Inf.Inference,2(2013),第145-193页·Zbl 1309.65070号
[62] Z.Wen和W.Yin,正交约束优化的一种可行方法,数学。程序。,142(2013),第397-434页·Zbl 1281.49030号
[63] Y.Zhong和N.Boumal,相位同步的近最优界,SIAM J.Optim。,28(2018),第989-1016页·兹比尔1396.90068
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。