×
杨云宁;冯云龙

稳健正交张量近似的半二次交替方向乘子法。 （英语） Zbl 1518.90086号

高级计算。数学。 49，第2期，第24号论文，39页（2023年）.
摘要：一个或多个潜在因子矩阵为列正交的高阶张量正则多元分解（CPD）近年来得到了很好的研究。然而，大多数现有模型通过使用最小二乘损失来惩罚噪声（如果发生），最小二乘损失可能对非高斯噪声或异常值敏感，从而导致潜在因素的偏差估计。在本文中，我们导出了一个具有Cauchy损失的稳健正交张量CPD模型，该模型能够抵抗Cauchy-噪声或离群值等重尾噪声。通过研究模型的半二次性质，我们发展了所谓的半二阶交替方向乘数法（HQ-ADMM）来求解模型。HQ-ADMM中涉及的每个子问题都有一个封闭的解决方案。由于Cauchy损失的一些优良性质，我们证明了算法生成的整个序列全局收敛到所考虑问题的一个稳定点。对合成数据和实际数据的数值实验证明了该模型和算法的有效性。

MSC公司：

90C26型 非凸规划，全局优化
90立方厘米 数学规划中的稳健性
15A69号 多线性代数，张量演算
41年50日 最佳逼近，切比雪夫系统
65千5 数值数学规划方法

关键词：

张量;正则多元分解;坚固耐用的;柯西;HQ-ADMM公司

软件：

马德姆;坦索拉布
PDF格式BibTeX公司 XML格式引用
\textit{Y.Yang}和\textit{Y.Feng}，高级计算。数学。49，第2号，第24号论文，39页（2023年；Zbl 1518.90086）
全文： 内政部 arXiv公司

参考文献：

[1] Anandkumar，A.，Jain，P.，Shi，Y.，Niranjan，U.N.：张量与矩阵方法：块稀疏扰动下的鲁棒张量分解。摘自：《人工智能与统计》，第268-276页（2016年）
[2] Attouch，H。；博尔特，J。；Svaiter，BF，半代数和驯服问题下降方法的收敛性：近似算法，前向-后向分裂，正则高斯-赛德尔方法，数学。程序。，137, 1-2, 91-129 (2013) ·Zbl 1260.49048号 ·doi:10.1007/s10107-011-0484-9
[3] Beaton，A。；Tukey，J.，《幂级数的拟合，即多项式，在光谱数据上的说明》，《技术计量学》，16，2，147-185（1974）·Zbl 0282.62057号 ·doi:10.1080/00401706.1974.10489171
[4] 博尔特，J。；萨巴赫，S。；Teboulle，M.，非凸和非光滑问题的近似交替线性化最小化，数学。程序。，146, 1-2, 459-494 (2014) ·Zbl 1297.90125号 ·doi:10.1007/s10107-013-0701-9
[5] 陈，J。；Saad，Y.，关于张量SVD和张量的最优低秩正交逼近。SIAM，J.矩阵分析。申请。，30, 4, 1709-1734 (2009) ·Zbl 1184.65043号 ·doi:10.1137/070711621
[6] 程，L。；Wu，YC；Poor，HV，概率张量正则多元分解与正交因子，IEEE Trans。信号处理。，65, 3, 663-676 (2016) ·Zbl 1414.94116号 ·doi:10.1109/TSP.2016.2603969
[7] Cichocki，A。；Mandic，D。；德拉特豪沃，L。；周，G。；赵（Q.Zhao）。；Caiafa，C。；信号处理应用的Phan、HA、Tensor分解：从双向到多路分量分析，IEEE信号处理。Mag.，32，2，145-163（2015）·doi:10.1109/MSP.2013.2297439
[8] De Almeida，A.L.F.，Kibangou，A.Y.，Miron，S.，Araújo，D.C.：协作无线传感器网络中的联合数据和连接拓扑恢复。摘自：IEEE声学、语音和信号处理国际会议论文集（ICASSP 2013），第5303-5307页（2013）
[9] De Lathauwer，L.：预白化后的代数方法。见：《盲源分离手册》，第155-177页。爱思唯尔（2010）
[10] De Lathauwer，L.：基于张量的因子分析和盲源分离方法简介。摘自：IEEE图像和信号处理与分析国际研讨会（ISPA 2011），第558-563页（2011）
[11] 德拉特豪沃，L。；De Moor，B。；Vandewalle，J.，《多重线性奇异值分解》，SIAM J.矩阵分析。申请。，21, 1253-1278 (2000) ·Zbl 0962.15005号 ·doi:10.1137/S0895479896305696
[12] 丁，M。；黄，TZ；马，TH；赵，XL；Yang，JH，Cauchy，基于分组的低阶先验去噪，Appl。数学。计算。，372, 124971 (2020) ·Zbl 1433.94011号
[13] Feng，Y。；范，J。；Suykens，J.，《模态回归的统计学习方法》，J.Mach。学习。第21、2、1-35号决议（2020年）·Zbl 1497.68418号
[14] Feng，Y。；黄，X。；Shi，L。；Yang，Y。；Suykens，J.，用最大相关标准学习导致的回归损失，J.马赫。学习。第16号决议，993-1034（2015）·Zbl 1351.62131号
[15] Ganan，S.，McClure，D.：贝叶斯图像分析：单光子发射层析成像的应用。阿默尔。统计师。Assoc，12-18（1985）
[16] Goldfarb，D。；Qin，Z.，鲁棒低秩张量恢复：模型和算法，SIAM J.矩阵分析。申请。，35, 1, 225-253 (2014) ·Zbl 1296.65086号 ·doi:10.1137/130905010
[17] 关，N。；刘，T。；Zhang，Y。；陶，D。；Davis，LS，截断柯西非负矩阵分解，IEEE Trans。模式分析。机器。智力。，41, 1, 246-259 (2017) ·doi:10.1109/TPAMI.2017.2777841
[18] 关，Y。；Chu，D.，张量正交低阶近似的数值计算，SIAM J.矩阵分析。申请。，40, 3, 1047-1065 (2019) ·Zbl 1435.65064号 ·doi:10.1137/18M1208101
[19] He，R。；郑，WS；胡，BG，鲁棒人脸识别的最大相关熵准则，IEEE Trans。模式分析。机器。智力。，33, 8, 1561-1576 (2010)
[20] 希勒，CJ；Lim，LH，大多数张量问题是NP-hard，J.ACM，60，6，45:1-45:39（2013）·Zbl 1281.68126号 ·doi:10.1145/2512329
[21] 荷兰，P。；Welsch，R.，使用迭代加权最小二乘的稳健回归，Commun。统计-理论方法，6，9，813-827（1977）·兹伯利0376.62035 ·doi:10.1080/03610927708827533
[22] 洪，D。；科尔达，TG；Duersch，JA，广义正则多元张量分解，SIAMRev。，62, 1, 133-163 (2020) ·Zbl 1432.68385号
[23] 洪，M。；罗，ZQ；Razaviyayn，M.，一类非凸问题的交替方向乘子法的收敛性分析，SIAM J.Optim。，26, 1, 337-364 (2016) ·兹比尔1356.49061 ·数字对象标识代码：10.1137/140990309
[24] 胡，S。；Li，G.，张量最佳秩一近似下高阶幂方法的收敛速度分析，Numer。数学。，140, 4, 993-1031 (2018) ·Zbl 1404.65035号 ·doi:10.1007/s00211-018-0981-3
[25] Hu，S.，Ye，K.（2019）
[26] Huber，PJ，《稳健统计》，第523卷（2004），纽约：威利出版社，纽约
[27] Kim，G。；Cho，J。；Kang，M.，通过加权核范数最小化去除柯西噪声，科学杂志。计算。，83, 15 (2020) ·Zbl 1455.94025号 ·doi:10.1007/s10915-020-01203-2
[28] 科尔达，TG；Bader，BW，张量分解与应用，SIAM Rev.，51，455-500（2009）·Zbl 1173.65029号 ·doi:10.1137/07070111X
[29] Kovnatsky，A.、Glashoff，K.、Bronstein，M.M.：MADMM：流形上非光滑优化的通用算法。摘自：欧洲计算机视觉会议，第680-696页。斯普林格（2016）
[30] 李·G。；刘，T。；Pong，TK，Peaceman-Rachford分裂用于一类非凸优化问题，计算。最佳方案。申请。，68, 2, 407-436 (2017) ·Zbl 1387.90198号 ·doi:10.1007/s10589-017-9915-8
[31] 李·G。；Pong，TK，非凸组合优化分裂方法的全局收敛性，SIAM J.Optim。，25, 4, 2434-2460 (2015) ·Zbl 1330.90087号 ·doi:10.1137/140998135
[32] 李·G。；Pong，TK，Douglas-Rachford分裂用于非凸优化，应用于非凸可行性问题，数学。程序。，159, 1-2, 371-401 (2016) ·Zbl 1346.90584号 ·doi:10.1007/s10107-015-0963-5
[33] 李·G。；Pong，TK，kurdyka-łojasiewicz不等式的指数演算及其在一阶方法线性收敛中的应用，Found。计算。数学。，18, 5, 1199-1232 (2018) ·Zbl 1405.90076号 ·doi:10.1007/s10208-017-9366-8
[34] 李，J。；Usevich，K。；Comon，P.，同步正交对称张量对角化的全局收敛Jacobi型算法，SIAM J.矩阵分析。申请。，39, 1, 1-22 (2018) ·Zbl 1378.15016号 ·doi:10.137/17M1116295
[35] Li，J.，Zhang，S.：基于stiefel流形乘积的极分解算法及其在张量近似中的应用。arXiv:1912.10390（2019）
[36] 李，X。；卢奇。；Dong，Y。；Tao，D.，基于柯西损失函数的稳健子空间聚类，IEEE Trans。神经网络。学习。系统。，30, 7, 2067-2078 (2018) ·doi:10.109/TNNLS.2018.2876327
[37] 刘，H。；因此，AMC；Wu，W.，带正交约束的二次优化：显式Łojasiewicz指数和基于收缩的线性搜索和随机方差减少梯度方法的线性收敛，数学。程序。，178, 1, 215-262 (2019) ·Zbl 1433.65111号 ·doi:10.1007/s10107-018-1285-1
[38] Maronna，R.，Bustos，O.，Yohai，V.：随机载波回归的一般M-估计的偏差和有效性。参见：《曲线估计的平滑技术》，第91-116页。施普林格（1979）·Zbl 0416.62050号
[39] 梅，JJ；Dong，Y。；黄，TZ；Yin，W.，《用具有收敛保证的非凸admm去除Cauchy噪声》，J.Sci。计算。，74, 2, 743-766 (2018) ·Zbl 06858871号 ·文件编号：10.1007/s10915-017-0460-5
[40] 潘，J。；Ng，MK，对称张量的对称正交近似及其在图像重建中的应用，数字。线性代数应用。，25、5、e2180（2018）·Zbl 1513.65134号 ·doi:10.1002/nla.2180
[41] Pravdova，V。；Estienne，F。；Walczak，B。；DL马萨特（Massart），塔克3模型的稳健版本，Chemmeter。智力。实验室系统。，59, 1, 75-88 (2001) ·doi:10.1016/S0169-7439（01）00143-5
[42] 萨瓦斯，B。；Lim，LH，关于格拉斯曼和张量的多线性近似的拟纽顿方法，SIAM J.Sci。计算。，32, 6, 3352-3393 (2010) ·Zbl 1226.65058号 ·doi:10.1137/090763172
[43] Sciacchitano，F。；Dong，Y。；曾，T.，带柯西噪声模糊图像复原的变分方法，SIAM J.Imag。科学。，8, 3, 1894-1922 (2015) ·Zbl 1343.94014号 ·数字对象标识代码：10.1137/140997816
[44] Shashua，A.，Levin，A.：使用张量-库原理进行回归和分类的线性图像编码。收录于：CVPR，第1卷，第I-I.页，IEEE（2001）
[45] 西迪罗普洛斯，ND；德拉特豪沃，L。；Fu，X。；黄，K。；Papalexakis，EE；Faloutsos，C.，信号处理和机器学习的张量分解，IEEE Trans。信号处理。，65, 13, 3551-3582 (2017) ·Zbl 1415.94232号 ·doi:10.1109/TSP.2017.2690524
[46] 新泽西州西迪罗普洛斯；Giannakis，英国；Bro，R.，《ds-cdma系统的盲旁频接收机》，IEEE Trans。信号处理。，48, 3, 810-823 (2000) ·数字对象标识代码：10.1109/78.824675
[47] Signoretto，M。；丁，QT；德拉特豪沃，L。；Suykens，JAK，《张量学习：基于凸优化和谱正则化的框架》，马赫。学习。，94, 3, 303-351 (2014) ·兹比尔1319.68191 ·doi:10.1007/s10994-013-5366-3
[48] 瑟伦森，M。；德拉特豪沃，L。；科蒙，P。；Icart，S。；Deneire，L.，《柱状正交因子矩阵的典型多元分解》，SIAM J.matrix Ana。申请。，33, 4, 1190-1213 (2012) ·Zbl 1263.15011号 ·数字对象标识代码：10.1137/10830034
[49] Sörensen，M.，De Lathauwer，L.，Deneire，L.:在一种模式下具有正交性的PARAFAC及其在DS-CDMA系统中的应用。摘自：IEEE声学、语音和信号处理国际会议记录（ICASSP 2010），第4142-4145页（2010）
[50] Vervliet，N.，Debals，O.，Sorber，L.，Van Barel，M.，De Lathauwer，L.：Tensorlab 3.0。http://www.tensorlab.net。在线提供（2016年）
[51] Wang，L。；楚，MT；Yu，B.，正交低秩张量近似：交替最小二乘法及其全局收敛性，SIAM J.矩阵分析。和申请。，36, 1, 1-19 (2015) ·兹比尔1330.15031 ·数字对象标识代码：10.1137/130943133
[52] Wang，Y。；尹，W。；Zeng，J.，非凸非光滑优化中ADMM的全局收敛性，J.Sci。计算。，78, 1, 29-63 (2019) ·兹比尔1462.65072 ·doi:10.1007/s10915-018-0757-z
[53] Yang，Y.，正交低阶张量近似的ε-交替最小二乘及其全局收敛性，SIAM J.矩阵分析。申请。，41, 4, 1797-1825 (2020) ·Zbl 1458.90528号 ·doi:10.1137/19M1303113
[54] Yang，Y。；Feng，Y。；Suykens，JAK，带正则重降m估计的稳健低秩张量恢复，IEEE Trans。神经网络。学习。系统。，27, 9, 1933-1946 (2015) ·doi:10.1109/TNNLS.2015.2465178
[55] Ye，K.，Hu，S.：几何满足最优化理论时：部分正交张量。arXiv:2201.04824（2022）
[56] Yu，P.，Li，G.，Pong，T.K.：通过注入投影的Kurdyka-Łojasiewicz指数。已找到。计算。数学。1-47 (2021)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。