Hien，Le Thi Khanh先生;潘·杜恩哈特;尼古拉斯·吉利斯;马苏德·阿霍霍什;Patrinos、Panagiotis 带外推的块Bregman优化最小化。 （英语） Zbl 1486.90154号 SIAM J.数学。数据科学。 第4期，第1期，1-25期（2022年）。 摘要：本文考虑了一类非光滑非凸优化问题，其目标是块相对光滑函数与真下半连续块可分函数之和。虽然对块-（L）-光滑函数类的块近端梯度（BPG）方法的分析已经成功地扩展到处理块相对光滑函数的Bregman BPG方法，但加速的Bregman-BPG方法很少，而且设计也很有挑战性。受Nesterov型加速和优化最小化方案的启发，我们提出了一个带外推的块交替Bregman优化最小化框架（BMME）。我们在温和的假设下证明了BMME到一阶平稳点的子序列收敛性，并在更强的条件下研究了其全局收敛性。我们证明了BMME对惩罚正交非负矩阵分解问题的有效性。 引用于2文件 MSC公司： 90C26型 非凸规划，全局优化 49立方米 基于非线性规划的数值方法 65千5 数值数学规划方法 15A23型 矩阵的因式分解 15A83号 矩阵完成问题 关键词：惯性块坐标法;优化最小化;Bregman代理函数;外推加速度;正交非负矩阵分解 PDF格式BibTeX公司 XML格式引用 \textit{L.T.K.Hien}等人，SIAM J.数学。数据科学。4，编号1，1-25（2022；兹bl 1486.90154） 全文： 内政部 arXiv公司 参考文献： [1] M.Aharon、M.Elad和A.Bruckstein，K-SVD：设计稀疏表示超完备字典的算法，IEEE Trans。信号处理。，54（2006），第4311-4322页·Zbl 1375.94040号 [2] M.Ahookhosh、L.T.K.Hien、N.Gillis和P.Patrinos，非光滑非凸问题的块惯性Bregman近似算法及其在对称非负矩阵三因子化中的应用，J.Optim。理论应用。，190（2021），第234-258页·Zbl 1475.90063号 [3] M.Ahookhosh、L.T.K.Hien、N.Gillis和P.Patrinos，多块Bregman近端交替线性化最小化及其在稀疏正交非负矩阵因式分解中的应用，计算。最佳方案。应用。，79 (2021), 681â715. ·Zbl 1473.90122号 [4] M.Ahookhosh，A.Themelis，P.Patrinos，非凸组合优化的Bregman正向反向分裂：超线性收敛到非孤立临界点，SIAM J.Optim。，31（2021年），第653-685页·Zbl 1461.90105号 [5] U.Arauíjo、B.Saldanha、R.Galva͂o、T.Yoneyama、H.Chame和V.Visani，光谱多成分分析中变量选择的连续投影算法，化学计量学和智能实验室系统，57（2001），第65-73页。 [6] H.Attouch和J.Bolte，关于涉及分析特征的非光滑函数的近端算法的收敛性，Math。程序。，116（2009），第5-16页，https://doi.org/10.1007/s10107-007-0133-5。 ·Zbl 1165.90018号 [7] H.Attouch、J.Bolt、P.Redont和A.Soubeyran，非凸问题的近似交替最小化和投影方法：基于Kurdyka-Łojasiewicz不等式的方法，数学。操作。研究，35（2010），第438-457页，https://doi.org/10.1287/moor.1100.0449。 ·Zbl 1214.65036号 [8] H.Attouch、J.Bolt和B.F.Svaiter，半代数和驯服问题下降方法的收敛性：近似算法、前向背向分裂和正则高斯-侧面方法，数学。程序。，137（2013），第91-129页·Zbl 1260.49048号 [9] H.H.Bauschke、J.Bolt和M.Teboulle，超越Lipschitz梯度连续性的下降引理：一阶方法重访与应用，数学。操作。决议，42（2017），第330-348页，https://doi.org/10.1287/摩尔.2016.0817。 ·Zbl 1364.90251号 [10] A.Beck和L.Terumeshvili，关于块坐标下降型方法的收敛性，SIAM J.Optim。，23（2013），第2037-2060页·Zbl 1297.90113号 [11] T.Blumentosh和M.E.Davies，用于压缩传感的迭代硬阈值，Appl。计算。哈蒙。分析。，27（2009），第265-274页，https://doi.org/10.1016/j.acha.2009.04.002。 ·兹比尔1174.94008 [12] J.Bochnak、M.Coste和M.-F.Roy，《实代数几何》，纽约斯普林格出版社，1998年·Zbl 0912.14023号 [13] J.Bolt、S.Sabach和M.Teboulle，非凸和非光滑问题的近似交替线性化最小化，数学。程序。，146（2014），第459-494页·Zbl 1297.90125号 [14] J.Bolt、S.Sabach、M.Teboulle和Y.Vaisbourd，超越凸性和Lipschitz梯度连续性的一阶方法及其在二次反问题中的应用，SIAM J.Optim。，28（2018），第2131-2151页，https://doi.org/10.1137/17M1138558。 ·Zbl 1402.90118号 [15] N.Gillis，非负矩阵分解，SIAM，费城，2020年·Zbl 1470.68009号 [16] N.Gillis，D.Kuang和H.Park，使用二阶非负矩阵分解对高光谱图像进行分层聚类，IEEE Trans。地质科学。遥感，53（2015），第2066-2078页。 [17] N.Gillis和S.A.Vavasis，可分离非负矩阵分解的快速稳健递归算法，IEEE Tran。模式分析。《机器智能》，36（2014），第698-714页，https://doi.org/10.1109/TPAMI.2013.226。 ·Zbl 1316.15015号 [18] L.T.K.Hien和N.Gillis，具有Kullback-Leibler散度的非负矩阵分解算法，科学杂志。计算。，87 (2021), 93, https://doi.org/10.1007/s10915-021-01504-0。 ·Zbl 1472.65054号 [19] L.T.K.Hien、N.Gillis和P.Patrinos，非凸非光滑优化的惯性块近似法，第37届机器学习国际会议论文集，2020年。 [20] L.T.K.Hien、D.N.Phan和N.Gillis，非凸非光滑优化的惯性块优化最小化框架。arXiv:2010.121332020年。 [21] K.Kurdyka，《关于o-极小结构中可定义函数的梯度》，《傅里叶年鉴》，48（1998），第769-783页，https://doi.org/10.5802/aif.1638。 ·Zbl 0934.32009 [22] H.Lu，R.M.Freund，Y.Nesterov，用一阶方法进行相对光滑凸优化及其应用，SIAM J.Optim。，28（2018），第333-354页·Zbl 1392.90090号 [23] J.Mairal，用一阶代理函数进行优化，《第30届国际机器学习会议论文集》，第28卷，JMLR，2013年，第783-791页。 [24] M.C.Mukkamala、P.Ochs、T.Pock和S.Sabach，非凸优化中惯性Bregman近端梯度算法的凹凸回溯，SIAM J.Math。数据科学。，2（2020年），第658-682页，https://doi.org/10.1137/19M1298007。 ·Zbl 1486.90147号 [25] B.Natarajan，线性系统的稀疏近似解，SIAM J.Compute。，24（1995），第227-234页，https://doi.org/10.1137/S097539792240406。 ·Zbl 0827.68054号 [26] Y.Nesterov，一种求解具有收敛速度的凸规划问题的方法\（O（1/k^2）\），苏联数学。道克。，27 (1983). ·Zbl 0535.90071号 [27] Y.Nesterov，《凸优化讲座》，第二版，Springer，纽约，2018年·Zbl 1427.90003号 [28] P.Ochs，统一抽象不精确收敛定理和块坐标变量度量ipiano，SIAM J.Optim。，29（2019），第541-570页，https://doi.org/10.1137/17M1124085。 ·Zbl 1411.32009年 [29] T.Pock和S.Sabach，非凸和非光滑问题的惯性近端交替线性化最小化（iPALM），SIAM J.成像科学。，9（2016），第1756-1787页，https://doi.org/10.1137/16M1064064。 ·Zbl 1358.90109号 [30] F.Pompili、N.Gillis、P.-A.Absil和F.Glineur，正交非负矩阵分解的两种算法及其在聚类中的应用，神经计算，141（2014），第15-25页。 [31] M.Razaviyayn，M.Hong，Z.Luo，非光滑优化的块逐次极小化方法的统一收敛性分析，SIAM J.Optim。，23（2013），第1126-1153页，https://doi.org/10.1137/120891009。 ·Zbl 1273.90123号 [32] M.Teboulle和Y.Vaisbourd，稀疏约束下非负矩阵分解的新近似梯度方法，SIAM J.Imaging Sci。，13（2020年），第381-421页，https://doi.org/10.1137/19M1271750。 ·Zbl 1442.90154号 [33] P.Tseng和S.Yun，非光滑可分离极小化的坐标梯度下降法，数学。程序。，117（2009），第387-423页·Zbl 1166.90016号 [34] Xu Y.和Y.Yin W.，正则化多凸优化的块坐标下降法及其在非负张量分解和完成中的应用，SIAM J.成像科学。，6（2013），第1758-1789页，https://doi.org/10.1137/120887795。 ·Zbl 1280.49042号 [35] Y.Xu和W.Yin，一种快速的全图像修补算法，逆向问题成像，10（2016），第563-583页，https://doi.org/10.3934/ipi.2016012。 ·Zbl 1395.94071号 [36] Y.Xu和W.Yin，基于块坐标更新的非凸优化全局收敛算法，J.Sci。计算。，72（2017），第700-734页·兹比尔1378.65126 [37] S.Zhong和J.Ghosh，基于生成模型的文档聚类：比较研究，知识信息。系统。，8（2005），第374-384页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。