×

基于极稀疏观测的稳健张量补全的非凸优化。 (英语) Zbl 1472.65056号

小结:在本文中,我们考虑从有限样本和稀疏损坏的观测值中恢复低秩张量的鲁棒张量补全问题,特别是在脉冲噪声的作用下。该问题的凸松弛是最小化输卵管核范数和(ell_1)范数数据保真度项的加权组合。然而,\(\ell_1\)-范数可能会产生有偏估计量,并且无法实现最佳估计性能。为了克服这一缺点,我们提出并开发了一个非凸模型,该模型最小化了管核范数、(ell_1)范数数据保真度项和凹平滑校正项的加权组合。此外,我们提出了一种高斯-赛德尔凸函数差分算法(GS-DCA),用线性化技术求解得到的优化模型。我们证明了GS-DCA生成的迭代序列收敛到该模型的临界点。此外,我们还提出了一种GS-DCA外推技术,以提高GS-DCA的性能。对彩色图像、高光谱图像、磁共振成像图像和视频的数值实验证明了该方法的有效性。

MSC公司:

65层99 数值线性代数
90C26型 非凸规划,全局优化
15A69号 多线性代数,张量演算

软件:

t产品
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Attouch,H。;博尔特,J。;Svaiter,BF,半代数和驯服问题下降方法的收敛性:近似算法,前向-后向分裂,正则高斯-赛德尔方法,数学。程序。,137,1-2,91-129(2013)·Zbl 1260.49048号 ·doi:10.1007/s10107-011-0484-9
[2] Ahn,MJ;庞,JS;Xin,J.,《凸学习的差异:方向平稳性、最优性和稀疏性》,SIAM J.Optim。,27, 3, 1637-1665 (2017) ·Zbl 1369.90130号 ·doi:10.1137/16M1084754
[3] Bai,MR;Zhang,许继;镍,GY;崔,CF,张量补全的自适应校正方法,SIAM J.成像科学。,9, 3, 1298-1323 (2016) ·Zbl 1456.90104号 ·数字对象标识代码:10.1137/15M1048008
[4] Bai,MR;张,XJ;邵,QQ,脉冲噪声下TVL1图像去模糊的自适应校正程序,逆问题。,32, 085004 (2016) ·Zbl 1366.94047号 ·doi:10.1088/0266-5611/32/8/085004
[5] Bochnak,J。;Coste,M。;罗伊,MF,《实代数几何》。埃尔格布。数学。格伦兹格布36(1998),柏林:施普林格,柏林·Zbl 0912.14023号
[6] 博尔特,J。;萨巴赫,S。;Teboulle,M.,非凸和非光滑问题的近似交替线性化最小化,数学。程序。,146, 1, 459-494 (2014) ·Zbl 1297.90125号 ·doi:10.1007/s10107-013-0701-9
[7] 坎迪斯,EJ;马云(Ma,Y.)。;Wright,J。;Li,X.,鲁棒主成分分析?,J.ACM,58,1-37(2011)·兹比尔1327.62369 ·数字对象标识代码:10.1145/1970392.1970395
[8] 风机,HY;陈,YJ;郭,YL;张,HY;Kuang,GY,使用低阶张量恢复的高光谱图像恢复,IEEE J.Sel。顶部。申请。地球观测卫星遥感器,10,4589-4604(2017)·doi:10.1109/JSTARS.2017.2714338
[9] 范,JQ;Li,RZ,通过非一致惩罚似然选择变量及其预言属性,美国统计协会,96,456,1348-1360(2001)·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[10] 甘地,S。;Recht,B。;Yamada,I.,通过凸优化实现张量补全和低n秩张量恢复,逆问题。,27, 2, 025010 (2011) ·Zbl 1211.15036号 ·doi:10.1088/0266-5611/27/025010
[11] Goldfarb,D。;秦,ZW,稳健低秩张量恢复:模型和算法,SIAM J.矩阵分析。申请。,35, 1, 225-253 (2014) ·Zbl 1296.65086号 ·doi:10.1137/130905010
[12] 顾,GY;江,SH;Yang,JF,一种用于脉冲噪声图像去模糊的TVSCAD方法,逆问题。,332125008(2017)·Zbl 1394.94011号 ·doi:10.1088/1361-6420/aa9383
[13] 佛罗里达州希区柯克,张量或多元数作为乘积之和的表达式,J.Math。物理。,6, 164-189 (1927) ·JFM 53.0095.01号文件 ·doi:10.1002/sapm192761164
[14] 洪,MY;罗,ZQ;Razaviyayn,M.,一类非凸问题的交替方向乘子法的收敛性分析,SIAM J.Optim。,26, 1, 337-364 (2016) ·兹比尔1356.49061 ·数字对象标识代码:10.1137/140990309
[15] Jiang,Q.,Ng,M.:通过凸优化实现鲁棒低管秩张量补全。摘自:《第二十八届国际人工智能联合会议记录》,第2649-2655页(2019年)
[16] Karatzoglou,A.,Amatriain,X.,Baltrunas,L.,Oliver,N.:多维推荐:上下文软件协同过滤的N维张量因子分解。摘自:第四届ACM推荐系统会议论文集,第79-86页(2010)
[17] 基尔默,MW;Braman,K。;郝,N。;胡佛,RC,《作为矩阵算子的三阶张量:成像应用的理论和计算框架》,SIAM J.矩阵分析。申请。,34, 1, 148-172 (2013) ·Zbl 1269.65044号 ·数字对象标识代码:10.1137/10837711
[18] 基尔默,MW;Martin,CD,三阶张量的因式分解策略,线性代数应用。,435, 641-658 (2011) ·Zbl 1228.15009号 ·doi:10.1016/j.laa.2010.09.020
[19] 科尔达,TG;Bader,BW,张量分解与应用,SIAM Rev.,51,3,455-500(2009)·Zbl 1173.65029号 ·doi:10.1137/07070111X
[20] Lathauwer,LD;摩尔,BD;McWhirter,J。;Proudler,I.,《从矩阵到张量:多线性代数和信号处理》,《信号处理数学IV》,1-15(1998),牛津:克拉伦登出版社,牛津
[21] 李,YF;Shang,K。;Huang,ZH,基于精确和不精确迭代加权算法的ADMM低塔克秩张量恢复,J.Compute。申请。数学。,331, 1, 64-81 (2018) ·Zbl 1377.65066号 ·doi:10.1016/j.cam.2017.09.029
[22] 刘,J。;穆西亚尔斯基,P。;旺卡,P。;Ye,J.,估计缺失值虚拟数据的张量补全,IEEE Trans。模式分析。机器。智力。,208-220年1月35日(2013年)·doi:10.1109/TPAMI.2012.39
[23] 卢,CY;冯,JS;陈,YD;刘伟。;林,ZC;Yan,S.,采用新张量核范数的张量稳健主成分分析,IEEE Trans。模式分析。机器。智力。,42, 4, 925-938 (2020) ·doi:10.10109/TPAMI.2019.2891760
[24] MöRup,M.,张量(多路数组)因式分解和分解在数据挖掘中的应用,Wiley Interdiscip。版本数据最小知识。发现。,1, 1, 24-40 (2011) ·doi:10.1002/widm.1
[25] Mu,C.,Huang,B.,Wright,J.,Goldfarb,D.:平方协议:张量恢复的下限和改进的松弛度。摘自:《第31届机器学习国际会议论文集》,第32卷,第73-81页(2014年)
[26] Miao,WM;潘,SH;Sun,DF,固定基系数矩阵补全的等级修正程序,数学。程序。,159, 289-338 (2016) ·Zbl 1356.90178号 ·doi:10.1007/s10107-015-0961-7
[27] Natarajan,BK,线性系统的稀疏近似解,SIAM J.Compute。,24, 2, 227-234 (1995) ·Zbl 0827.68054号 ·doi:10.1137/S0097539792240406
[28] 帕特沃德汉,KA;萨皮罗,G。;Bertalmio,M.,受限摄像机运动下的视频修复,IEEE Trans。图像处理。,16, 2, 545-553 (2007) ·doi:10.1109/TIP.2006.888343
[29] Rockafellar,RT公司;Wets,RJ,变分分析(1997),柏林:施普林格出版社,柏林
[30] Romera Paredes,B.,Pontil,M.:张量完备的一种新的凸松弛。摘自:《神经信息处理系统进展学报》,第26卷,第2967-2975页(2013年)
[31] Salakhutdinov,R.,Srebro,N.:非均匀世界中的协作过滤:使用加权跟踪范数进行学习。摘自:《神经信息处理系统进展学报》,第23卷,第2056-2064页(2010年)
[32] 沙韦,AC;英雄,AO;罗杰斯,WL;Wilderman,SJ;NH Clinthorne,康普顿spect相机模型的3D图像重建,IEEE Trans。编号。科学。,46, 6, 2075-2084 (1999) ·doi:10.1109/23.819285
[33] 塞梅西,OS;郝,N。;基尔默,ME;Miller,EL,多能计算机断层扫描的基于张量的公式化和核范数正则化,IEEE Trans。图像处理。,23, 4, 1678-1693 (2014) ·Zbl 1374.94335号 ·doi:10.1109/TIP.2014.2305840
[34] Signoretto,M。;丁,QT;Lathauwer,LD;Suykens,JAK,张量学习:一个基于凸优化和谱正则化的框架,马赫。学习。,94, 303-351 (2014) ·Zbl 1319.68191号 ·doi:10.1007/s10994-013-5366-3
[35] Sun,T。;阴,PH;郑,LZ;姜浩,凸函数差分乘法器的交替方向法,高级计算。数学。,44, 723-744 (2018) ·Zbl 1393.90119号 ·doi:10.1007/s10444-017-9559-3
[36] 陶,PD;D.C.编程的LTH凸分析方法:理论、算法和应用,数学学报。越南。,22, 289-355 (1997) ·Zbl 0895.90152号
[37] Tao,PD,计算矩阵界范数的次梯度方法的收敛性,线性代数应用。,62, 163-182 (1984) ·Zbl 0563.65029号 ·doi:10.1016/0024-3795(84)90093-4
[38] 陶,PD;Bernoussi,SE,求解一类非凸优化问题的算法。次梯度方法,North-Holl。数学。螺柱,129249-271(1986)·Zbl 0638.90087号 ·doi:10.1016/S0304-0208(08)72402-2
[39] 塔克,LR,《关于三模式因子分析的一些数学注释》,《心理测量学》,31,3,279-311(1966)·doi:10.1007/BF02289464
[40] Wang,Y。;尹,WT;Zeng,JS,非凸非光滑优化中ADMM的全局收敛性,科学学报。计算。,78,29-63(2019)·Zbl 1462.65072号 ·doi:10.1007/s10915-018-0757-z
[41] 王,Z。;博维克,AC;Sheikh,人力资源部;Simoncelli,EP,《图像质量评估:从错误可见性到结构相似性》,IEEE Trans。图像处理。,13, 4, 600-612 (2004) ·doi:10.1109/TIP.2003.819861
[42] Wright,J.、Peng,Y.、Ma,Y.,Ganesh,A.、Rao,S.:稳健主成分分析:通过凸优化精确恢复损坏的低秩矩阵。摘自:《神经信息处理系统进展学报》,第22卷,第2080-2088页(2009年)
[43] Yang,L。;Pong,TK公司;Chen,XJ,一类非凸非光滑问题的交替方向乘法器方法及其在背景/前景提取中的应用,SIAM J.成像科学。,1074-110(2017)·Zbl 1364.90278号 ·doi:10.1137/15M1027528
[44] 杨,YN;冯,YL;Suykens,JAK,带正则重降m估计的稳健低秩张量恢复,IEEE Trans。神经网络。学习。系统。,27, 9, 1933-1946 (2016) ·doi:10.1109/TNNLS.2015.2465178
[45] Zhang,CH,极小极大凹罚下的几乎无偏变量选择,Ann.Stat.,38,2,894-942(2010)·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。