杨磊;彭廷基;陈晓军 一类矩阵分解问题的非单调交替更新方法。 （英语） Zbl 1411.90283号 SIAM J.Optim公司。 第4号第28页，3402-3430页（2018）. 摘要：在本文中，我们考虑一个通用的矩阵分解模型，该模型涵盖了大量现有模型，在机器学习和成像科学等领域具有许多应用。为了解决这个可能非凸、非光滑和非Lipschitz问题，我们开发了一种基于势函数的非单调交替更新方法。我们的方法本质上是通过不精确地最小化这个潜在函数来依次更新两个变量块，并使用显式公式更新另一个辅助变量块。势函数的特殊结构使我们能够利用非负矩阵因式分解的有效计算策略，对两个变量块执行交替最小化。为了提高数值性能，还引入了合适的线搜索准则。在一些温和的条件下，我们证明了线搜索准则是明确定义的，并证明了生成的序列是有界的，序列的任何簇点都是平稳点。最后，我们使用实际数据集进行了一些数值实验，将我们的方法与现有的一些有效的非负矩阵分解和矩阵补全方法进行了比较。数值结果表明，对于这些特定的应用，我们的方法可以优于这些方法。 引用于5文件 MSC公司： 90C26型 非凸规划，全局优化 90立方 非线性规划 90 C90 数学规划的应用 65千5 数值数学规划方法 关键词：矩阵分解;非单调线搜索;驻点;交替更新 软件：SNLSDP公司;Pyglrm公司;低等级模型;LMa拟合 PDF格式BibTeX公司 XML格式引用 \textit{L.Yang}等人，SIAM J.Optim。28，第4号，3402--3430（2018；Zbl 1411.90283） 全文： 内政部 arXiv公司 参考文献： [1] H.Attouch、J.Bolt和B.Svaiter，半代数和驯服问题下降方法的收敛性：近似算法、前向背向分裂和正则化高斯-赛德尔方法，数学。程序。，137（2013），第91–129页·Zbl 1260.49048号 [2] M.Berry、M.Browne、A.Langville、V.Pauca和R.Plemmons，近似非负矩阵分解算法及其应用，计算。统计。数据分析。，52（2007），第155-173页·Zbl 1452.90298号 [3] P.Biswas、T.Liang、K.Toh、Y.Ye和T.Wang，带噪声距离测量的传感器网络定位的半定规划方法，IEEE传输。自动。科学。《工程》，3（2006），第360–371页。 [4] J.Bolt、S.Sabach和M.Tebouble，非凸和非光滑问题的近似交替线性化极小化，数学。程序。，146（2014），第459–494页·Zbl 1297.90125号 [5] E.Candès和B.Recht，基于凸优化的精确矩阵补全，找到。计算。数学。，9（2009），第717–772页·Zbl 1219.90124号 [6] E.Candès和T.Tao，凸松弛的威力：近最优矩阵补全，IEEE传输。《信息论》，56（2010），第2053-2080页·Zbl 1366.15021号 [7] X.Chen、Z.Lu和T.Pong，一类非Lipschitz优化问题的惩罚方法、SIAM J.Optim.、。，26（2016），第1465-1492页·Zbl 1342.90181号 [8] A.Cichocki、R.Zdunk和S.Amari，非负矩阵和（3）D张量分解的层次ALS算法《独立成分分析和信号分离国际会议》，纽约斯普林格，2007年，第169-176页·Zbl 1172.94390号 [9] N.Gillis，非负矩阵分解：复杂性、算法和应用卢万天主教大学博士论文，2011年。 [10] N.Gillis，非负矩阵分解的原因和方法，摘自《正则化、优化、内核和支持向量机》，Chapman和Hall/CRC，2014年，第257-291页。 [11] N.Gillis和F.Glineur，非负矩阵分解的加速乘法更新和分层ALS算法，神经计算。，24（2012年），第1085-1105页。 [12] P.Gong、C.Zhang、Z.Lu、J.Huang和J.Ye，非凸正则优化问题的一种通用迭代shinkage和阈值算法，《第30届机器学习国际会议论文集》，Proc。机器。学习。2013年第28号决议，第37-45页；可从获取。 [13] 洪先生，用近似原对偶方法分解线性约束非凸问题：算法、收敛性和应用，预印本，2016年。 [14] B.Jiang、T.Lin、S.Ma和S.Zhang，结构化非凸非光滑优化：算法和迭代复杂性分析，计算。优化。申请。(2018), . [15] R.Keshavan、A.Montanari和S.Oh，从几个条目完成矩阵，IEEE传输。《信息论》，56（2010），第2980–2998页·Zbl 1366.62111号 [16] M.-J.Lai、Y.Xu和W.Yin，无约束平滑的改进迭代重排最小二乘法\(ℓ_p\）最小化，SIAM J.数字。分析。，51（2013年），第927-957页·Zbl 1268.49038号 [17] D.Lee和H.Seung，用非负矩阵分解学习对象的组成部分，《自然》，401（1999），第788-791页·Zbl 1369.68285号 [18] D.Lee和H.Seung，非负矩阵分解算法，高级神经信息处理。系统。，13，T.K.Leen、T.G.Dietterich和V.Tresp编辑，麻省理工学院出版社，马萨诸塞州剑桥，2001年，第556–562页。 [19] K.Lee、J.Ho和D.Kriegman，可变光照下人脸识别的线性子空间获取IEEE事务模式分析。机器。智力。，27（2005），第684-698页。 [20] L.Li和Y.Zhang，FastNMF：高效的单调定点非负矩阵分解算法，适用性强，电子杂志。《成像》，18（2009），033004。 [21] J.Liu、J.Liw、P.Wonka和J.Ye，基于柱坐标下降的稀疏非负张量因子分解，模式识别。，45（2012年），第649-656页·Zbl 1225.68233号 [22] Z.Liu和L.Vandenberghe，核范数逼近的内点方法及其在系统辨识中的应用，SIAM J.矩阵分析。申请。，31（2009），第1235-1256页·Zbl 1201.90151号 [23] K.Mohan和M.Fazel，矩阵秩最小化的迭代重加权算法，J.马赫。学习。研究，13（2012），第3441–3473页·Zbl 1436.65055号 [24] P.Ochs和T.Pock，自适应FISTA，预印本，2017年。 [25] P.Paatero和U.Tapper，正矩阵分解：一种最佳利用数据值误差估计的非负因子模型《环境计量学》，5（1994），第111–126页。 [26] B.Recht、M.Fazel和P.Parrilo，基于核范数极小化的线性矩阵方程保最小秩解SIAM Rev.，52（2010），第471-501页·Zbl 1198.90321号 [27] J.Rennie和N.Srebro，用于协同预测的快速最大裕度矩阵分解《第22届国际机器学习会议论文集》，计算机协会，纽约，2005年，第713–719页。 [28] R.Rockafellar和R.-B.Wets，变分分析1998年，纽约施普林格·Zbl 0888.49001号 [29] F.Samaria和A.Harter，人脸识别随机模型的参数化《第二届IEEE计算机视觉应用研讨会论文集》，IEEE出版社，新泽西州皮斯卡塔韦，1994年，第138-142页。 [30] F.Shang、Y.Liu和J.Cheng，可处理Schatten拟范数最小化的可伸缩算法，载于《第30届AAAI人工智能会议论文集》，人工智能促进协会，加利福尼亚州帕洛阿尔托，2016年，第2016-2022页。 [31] F.Shang、Y.Liu和J.Cheng，秩最小化的可追踪可伸缩Schatten拟模逼近《第19届国际人工智能与统计会议记录》，人工智能促进协会，加利福尼亚州帕洛阿尔托，2016年，第620-629页。 [32] F.Shang、Y.Liu和J.Cheng，Schatten拟模的统一可标度等价公式，预印本，2016年。 [33] N.斯雷布罗，矩阵分解学习，博士论文，麻省理工学院，2004年。 [34] 孙立中、罗志强，通过非凸分解保证矩阵完备，IEEE传输。《信息论》，62（2016），第6535–6579页·兹比尔1359.94179 [35] M.Udell、C.Horn、R.Zadeh和S.Boyd，广义低秩模型，找到。趋势马赫数。学习。，9（2016），第1-118页·Zbl 1350.68221号 [36] S.Vavasis，关于非负矩阵分解的复杂性、SIAM J.Optim.、。，20（2009年），第1364-1377页·兹比尔1206.65130 [37] Y.Wang和Y.Zhang，非负矩阵分解：综述，IEEE传输。知识。《数据工程》，25（2013），第1336–1353页。 [38] Z.Wen、W.Yin和Y.Zhang，用非线性逐次过松弛算法求解矩阵补全的低阶分解模型，数学。程序。计算。，4（2012年），第333–361页·Zbl 1271.65083号 [39] S.Wright、R.Nowak和M.Figueiredo，用可分离近似进行稀疏重构，IEEE传输。信号处理。，57（2009），第2479-2493页·Zbl 1391.94442号 [40] Y.Xu和W.Yin，正则化多凸优化的块坐标下降法及其在非负张量分解和完备化中的应用，SIAM J.成像科学。，6（2013年），第1758-1789页·Zbl 1280.49042号 [41] Y.Xu、W.Yin、Z.Wen和Y.Zhang，非负因子矩阵补全的交替方向算法，前部。数学。中国，2012年第7期，第365–384页·Zbl 1323.65044号 [42] M.Zhang、Z.-H.Huang和Y.Zhang，非凸矩阵恢复的限制（p）-等距性质，IEEE传输。《信息论》，59（2013），第4316–4323页·Zbl 1364.94179号 [43] 张勇，非负矩阵分解的交替方向算法，预印本，2010年。 [44] X.Zhou、C.Yang、H.Zhao和W.Yu，低阶建模及其在图像分析中的应用《ACM计算调查》，47（2015），第36页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。