×
王庆松;韩德仁

全局Lipschitz梯度连续非凸非光滑问题的Bregman随机方法。 （英语） Zbl 1522.90143号

最佳方案。方法软件。 38，编号5，914-946（2023）.
摘要：在本文中，我们考虑用Bregman近端随机梯度（BPSG）算法求解一类大规模非凸和非光滑最小化问题。最小化问题的目标函数是一个可微函数和一个不可微函数的组合，可微部分不允许全局Lipschitz连续梯度。在适当的条件下，建立了该算法的子序列收敛性。在具有Kurdyka-Łojasiewicz（KL）性质的期望条件下，我们还证明了该方法的全局收敛性。我们还将BPSG算法应用于求解稀疏非负矩阵分解（NMF）、非对称松弛对称NMF以及不同核生成距离下的矩阵补全问题，并与其他算法进行了数值比较。结果表明了该算法的鲁棒性和有效性。

MSC公司：

90C26型 非凸规划，全局优化
49J52型 非平滑分析
90立方厘米 随机规划

关键词：

Bregman方法;非凸;非光滑的;随机梯度下降

软件：

电影镜头;蜘蛛增压;SymNMF公司;传奇
PDF格式BibTeX公司 XML格式引用
\textit{Q.Wang}和\textit{D.Han}，Optim。方法软件。38，编号5，914--946（2023；Zbl 1522.90143）
全文： 内政部

参考文献：

[1] 阿霍霍什，M。；Themelis，A。；Patrinos，P.，非凸组合优化的Bregman前向反向线性搜索算法：超线性收敛到非孤立局部极小值，SIAM J.Optim。，31, 653-685 (2021) ·Zbl 1461.90105号
[2] Ahookhosh先生。；Hien，L.T.K。；Gillis，N。；Patrinos，P.，非光滑非凸问题的块惯性Bregman近似算法及其在对称非负矩阵三因子化中的应用，J.Optim。理论应用。，190, 234-258 (2021) ·Zbl 1475.90063号
[3] Attouch，H。；Bolt，J.，关于涉及分析特征的非光滑函数的近似算法的收敛性，数学。程序。，116, 5-16 (2009) ·兹比尔1165.90018
[4] 澳大利亚银行。；Teboulle，M.，凸优化和圆锥优化的内部梯度和近似方法，SIAM J.Optim。，16, 697-725 (2006) ·Zbl 1113.90118号
[5] Bauschke，H.H。；波尔特，J。；Teboulle，M.，《超越Lipschitz梯度连续性的下降引理：一阶方法重访及其应用》，数学。操作。决议，42，330-348（2017）·兹比尔1364.90251
[6] Bauschke，H.H。；博尔特，J。；陈，J。；特布尔，M。；Wang，X.，关于无强凸性和Lipschitz梯度连续性的非欧几里德梯度方法的线性收敛性，J.Optim。理论应用。，182, 1068-1087 (2019) ·Zbl 1429.65121号
[7] 贝克，A。；Eldar，Y.C.，《稀疏约束非线性优化：最优条件和算法》，SIAM J.Optim。，23, 1480-1509 (2013) ·Zbl 1295.90051号
[8] Birnbaum，B.E.、Devanur，N.R.和Xiao，L.，《费希尔市场通过梯度下降的分布式算法》，载于《第12届ACM电子商务会议论文集》，ACM，2011年，第127-136页。
[9] 博尔特，J。；萨巴赫，S。；Teboulle，M.，非凸和非光滑问题的近似交替线性化最小化，数学。程序。，146, 459-494 (2014) ·兹比尔1297.90125
[10] 博尔特，J。；萨巴赫，S。；特布尔，M。；Vaisbound，Y.，超越凸性和Lipschitz梯度连续性的一阶方法及其在二次反问题中的应用，SIAM J.Optim。，28, 2131-2151 (2018) ·Zbl 1402.90118号
[11] Bottou，L.，随机梯度下降的大规模机器学习，第19届国际计算统计学会议，COMPSTAT，2010，第177-186页·Zbl 1436.68293号
[12] Bregman，L.，寻找凸集公共点的松弛方法及其在凸规划问题求解中的应用，苏联Comp。数学。数学。物理。，7, 200-217 (1967) ·Zbl 0186.23807号
[13] Cai，D.，He，X.和Han，J.，有效正则化子空间学习的谱回归，IEEE第11届计算机视觉国际会议，IEEE计算机学会，2007年，第1-8页。
[14] 蔡，D。；他，X。；Han，J。；张，H.，用于人脸识别的正交拉普拉斯人脸，IEEE Trans。图像处理。，15, 3608-3614 (2006)
[15] 蔡，X。；郭，K。；江，F。；王，K。；吴，Z。；Han，D.，《近点算法的发展》，J.Oper。中国研究社会，10197-239（2022）·Zbl 1502.47081号
[16] 科蒙，P。；Golub，G.H。；Lim，L.公司。；Mourrain，B.，《对称张量和对称张量秩》，SIAM J.矩阵分析。申请。，30, 1254-1279 (2008) ·Zbl 1181.15014号
[17] Davis，D.，非光滑非凸问题的异步PALM算法，2016年。可从arXiv:1604.00526获取。
[18] Danilova，M.、Dvurechensky，P.、Gasnikov，A.、Gorbunov，E.、Guminov，S.、Kamzolov，D.和Shibaev，I.，《非凸优化的最新理论进展》，2021年。网址：arXiv:2012.06188。
[19] Defazio，A.、Bach，F.R.和Lacoste-Julien，S.，SAGA：支持非强凸复合目标的快速增量梯度法，收录于《神经信息处理系统进展》第27期，2014年，第1646-1654页。
[20] Donoho，D.L.，《软阈值去噪》，IEEE Trans。Inf.理论，41，613-627（1995）·Zbl 0820.62002号
[21] Driggs，D。；Tang，J。；梁，J。；戴维斯，M.E。；Schönlieb，C.，非光滑和非凸优化的随机近端交替最小化，SIAM J.成像科学。，14, 1932-1970 (2021) ·Zbl 1479.90166号
[22] Fang，C.，Li，C.J.，Lin，Z.，and Zhang，T.，《SPIDER：通过随机路径积分微分估计实现的近最优非凸优化》，《神经信息处理系统进展》2018年第31期，第687-697页。
[23] Geiersbach，C。；Scarinci，T.，Hilbert空间中非凸问题的随机近端梯度方法，计算。最佳方案。申请。，78, 705-740 (2021) ·Zbl 1469.90157号
[24] Han，D.，变分不等式问题的一种新的混合广义近点算法，J.Glob。最佳。，26, 125-140 (2003) ·Zbl 1044.65055号
[25] F.M.哈珀。；Konstan，J.A.，《电影数据集：历史与背景》，ACM Trans。互动。智力。系统。，5, 1-19 (2016)
[26] 哈桑纳萨布，M。；Hertrich，J。；Neumayer，S。；普隆卡，G。；塞泽尔，S。；Steidl，G.，Parseval近端神经网络，J.Fourier Ana。申请。，26, 1-31 (2020) ·Zbl 1489.68224号
[27] 何，Z。；谢S。；兹杜内克，R。；周，G。；Cichocki，A.，《对称非负矩阵分解：概率聚类的算法和应用》，IEEE Trans。神经网络，222022-2031（2011）
[28] 黄，M。；马，S。；Lai，L.，通过交替流形近端梯度延拓方法实现鲁棒低秩矩阵补全，IEEE Trans。信号处理。，69, 2639-2652 (2021) ·兹伯利07591511
[29] Johnson，R.和Zhang，T.，使用预测方差减少加速随机梯度下降，《神经信息处理系统进展》，2013年第26期，第315-323页。
[30] 科尔达·T·G。；Bader，B.W.，张量分解与应用，SIAM Rev.，51，455-500（2009）·Zbl 1173.65029号
[31] Koren，Y。；贝尔·R·M。；Volinsky，C.，推荐系统的矩阵分解技术，计算机，42，30-37（2009）
[32] Kuang，D。；Yun，S。；Park，H.，Symnmf:图聚类相似矩阵的非负低阶近似，J.Glob。最佳。，62, 545-574 (2015) ·Zbl 1326.90080号
[33] Kuang，S。；吴，B。；Cong，S.，《提高量子态层析成像效率和准确性的融合测量方法》，IEEE Trans。仪器。测量。，69, 3049-3060 (2020)
[34] Lee，D.D。；Seung，H.S.，通过非负矩阵分解学习对象的各个部分，《自然》，401，788-791（1999）·Zbl 1369.68285号
[35] Loizou，N。；Richtárik，P.，随机梯度的动量和随机动量，牛顿，近点和子空间下降法，计算。最佳方案。申请。，77, 653-710 (2020) ·Zbl 1466.90065号
[36] 卢斯，R。；Teboulle，M.，具有稀疏性约束的秩一矩阵近似的条件梯度算法，SIAM Rev.，55，65-98（2013）·Zbl 1263.90094号
[37] Mukkamala，M.C.和Ochs，P.，《超越用惯性bregman近端梯度算法进行矩阵分解的交替更新》，载于《神经信息处理系统进展》第32期，2019年，第4268-4278页。
[38] M.C.穆卡拉。；Ochs，P。；Pock，T。；Sabach，S.，非凸优化中惯性Bregman近端梯度算法的凹凸回溯，SIAM J.Math。数据科学。，2, 658-682 (2020) ·Zbl 1486.90147号
[39] Nguyen，Q.V.，用Bregman距离向前向后分裂，越南数学杂志。，45119-539（2017）·Zbl 1371.90106号
[40] Nguyen，L.M.、Liu，J.、Scheinberg，K.和Takác，M.，SARAH:使用随机递归梯度解决机器学习问题的新方法，载于《第34届机器学习国际会议论文集》，2017年，第2613-2621页。
[41] 拉姆雷兹，I。；Sapiro，G.，稳健稀疏编码和建模的通用正则化器，IEEE Trans。图像处理。，21, 3850-3864 (2012) ·兹比尔1373.94847
[42] Reem，D。；Reich，S。；Pierro，A.R.D.，《无全局Lipschitz连续性假设的伸缩式Bregmanian近端梯度法》，J.Optim。理论应用。，182, 851-884 (2019) ·Zbl 1427.90222号
[43] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数学年鉴》。统计人员。，22, 400-407 (1951) ·Zbl 0054.05901号
[44] 罗宾斯，H。；Siegmund，D.，非负几乎上鞅的收敛定理和一些应用，Optim。方法统计，233-257（1971）·Zbl 0286.60025号
[45] Rockafellar，R.T.，《凸分析》（1970），普林斯顿大学出版社：普林斯顿大学出版，新泽西州普林斯顿·Zbl 0202.14303号
[46] Rockafellar，R.T。；Wets，R.，变分分析（1998），施普林格：施普林格，柏林，海德堡·兹比尔0888.49001
[47] 罗塞特，F。；佩林，F。；Ducros，N.，用于单像素成像中模式泛化的半非负矩阵分解技术，IEEE Trans。公司。成像，4284-294（2018）
[48] Roux，N.L.，Schmidt，M.和Bach，F.R.，有限训练集指数收敛率的随机梯度法，《神经信息处理系统进展》，第25期，2012年，第2672-2680页。
[49] Samaria，F.和Harter，A.，人脸识别随机模型的参数化，第二届IEEE计算机视觉应用研讨会论文集，1994年。第138-142页。
[50] Sulam，J。；Ophir，B。；齐布列夫斯基，M。；Elad，M.，《Trainets:高维词典学习》，IEEE Trans。信号处理。，643180-3193（2016）·Zbl 1414.94014号
[51] 特布尔，M。；Vaisbourd，Y.，《稀疏约束下非负矩阵分解的新近似梯度方法》，SIAM J.Imaging Sci。，13, 381-421 (2020) ·Zbl 1442.90154号
[52] Wang，Z.，Ji，K.，Zhou，Y.，Liang，Y.和Tarokh，V.，《Spiderboost和动量：更快的方差减少算法》，摘自《神经信息处理系统进展》第32期，2019年，第2403-2413页。
[53] Zhu，Z.，Li，X.，Liu，K.，and Li，Q.，《快速对称非负矩阵因式分解的下降对称性》，《神经信息处理系统进展》2018年第31期，第5160-5170页。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。