×
德里克·德里格斯;唐俊奇;梁静伟;迈克·戴维斯;卡罗拉·比比安·施恩利布

非光滑和非凸优化的随机近似交替极小化。 （英语） Zbl 1479.90166号

SIAM J.成像科学。 1932-1970年（2021年）第4期第14页.
小结：在这项工作中，我们引入了一种新的随机近似交替线性化最小化算法[J.博尔特等，数学。程序。146，第1-2（A）号，459-494（2014年；Zbl 1297.90125号)]用于求解一类非光滑非凸优化问题。由于数据采集和计算能力的进步，大尺度成像问题变得越来越普遍。由于随机优化方法的成功，我们提出了一种近似交替线性化最小化的随机变量。我们提供了全局收敛保证，证明了我们提出的方法具有方差减少的随机梯度估计，如SAGA[A.德法齐奥，F.巴赫和S.鳄鱼-朱利安，“SAGA：一种支持非强凸复合目标的快速增量梯度方法”，高级神经信息处理。系统。和萨拉[L.M.阮等人，“SARAH:一种使用随机递归梯度的机器学习问题的新方法”，Proc。机器。学习。Res.（PMLR）702613-2621（2017）]，实现了最先进的oracle复杂性。我们还通过稀疏非负矩阵分解、稀疏主成分分析和盲图像反褶积等几个数值例子证明了算法的有效性。

引用于4文件

MSC公司：

90C26型 非凸规划，全局优化
90立方厘米15 随机规划
90立方 非线性规划
49平方米27 分解方法

关键词：

非凸非光滑优化;随机优化;方差减少;Kurdyka-Łojasiewicz不等式;随机PALM

引文：

Zbl 1297.90125号

软件：

ProxSARAH公司;传奇;蜘蛛增压
PDF格式BibTeX公司 XML格式引用
\textit{D.Driggs}等人，SIAM J.成像科学。14，第4号，1932-1970（2021；Zbl 1479.90166）
全文： 内政部

参考文献：

[1] A.Aravkin和D.Davis，通过方差减少对统计估计进行修正，数学。操作。Res.，45（2020），第292-322页·Zbl 1461.65120号
[2] H.Attouch和J.Bolt，关于涉及分析特征的非光滑函数的近似算法的收敛性，数学。程序。B、 116（2007），第5-16页·Zbl 1165.90018号
[3] H.Attouch、J.Bolt、P.Redont和A.Soubeyran，非凸问题的近似交替最小化和投影方法：基于Kurdyka-Lojasiewicz不等式的方法，数学。操作。研究，35（2010），第438-457页·Zbl 1214.65036号
[4] J.Bolt，A.Danilidis和A.Lewis，非光滑子分析函数的Łojasiewicz不等式及其在次梯度动力系统中的应用，SIAM J.Optim。，17（2007），第1205-1223页·Zbl 1129.26012号
[5] J.Bolt，A.Danilidis，O.Ley，and L.Mazet，Lojasiewicz不等式的特征：次梯度流，talweg，凸性，Trans。阿默尔。数学。Soc.，362（2010），第3319-3363页·Zbl 1202.26026号
[6] J.Bolt、S.Sabach和M.Teboulle，非凸和非光滑问题的近似交替线性化最小化，数学。程序。，146（2014），第459-494页·Zbl 1297.90125号
[7] L.Bottou，具有随机梯度下降的大尺度机器学习，摘自《2010年COMPSTAT会议录》，施普林格，纽约，2010年，第177-186页·Zbl 1436.68293号
[8] D.Cai、X.He和J.Han，高效正则化子空间学习的谱回归，第11届计算机视觉国际会议论文集，IEEE，2007年，第1-8页。
[9] D.Cai、X.He、Y.Hu、J.Han和T.Huang，学习用于人脸识别的空间光滑子空间，《计算机视觉和模式识别会议论文集》，IEEE，2007年，第1-7页。
[10] P.Campisi和K.Egiazarian，《盲图像反褶积：理论与应用》，CRC出版社，佛罗里达州博卡拉顿，2016年。
[11] E.J.Candès、X.Li、Y.Ma和J.Wright，稳健主成分分析？，J.ACM，58（2011），11·Zbl 1327.62369号
[12] A.Chambolle、M.J.Ehrhardt、P.Richtaárik和C.B.Scho¨nlieb，具有任意采样和成像应用的随机原始-双重混合梯度算法，SIAM J.Optim。，28（2018），第2783-2808页·兹伯利06951767
[13] A.d'Aspremont、L.E.Ghaoui、M.I.Jordan和G.R.Lanckriet，《使用半定规划的稀疏主成分分析的直接公式》，《神经信息处理系统进展》，2005年，第41-48页。
[14] Damek Davis，非光滑非凸问题的异步Palm算法，arXiv:1604.005262016。
[15] D.Davis、B.Edmunds和M.Udell，《APALM鼓掌的声音：使用随机异步PALM进行更快的非光滑非凸优化》，《神经信息处理系统的进展》，2016年，第226-234页。
[16] A.Defazio、F.Bach和S.Lacoste-Julien，SAGA：支持非强凸复合目标的快速增量梯度法，摘自《神经信息处理系统进展》，2014年，第1646-1654页。
[17] D.Driggs，J.Tang，J.Liang，M.Davies，and C.Schoínlieb，《SPRING:非光滑非凸优化的快速随机近似交替方法》，预印本，arXiv:2002.122662020年。
[18] C.Fang、C.J.Li、Z.Lin和T.Zhang，《SPIDER：通过随机路径积分微分估计器的近最优非凸优化》，《第32届神经信息处理系统会议论文集》，2018年。
[19] J.Hertrich和G.Steidl，《惯性随机手掌及其在学习学生-t混合模型中的应用》，arXiv:2005.02204200。
[20] P.O.Hoyer，稀疏约束下的非负矩阵分解，J.Mach。学习。Res.，5（2004），第1457-1469页·Zbl 1222.68218号
[21] R.Johnson和T.Zhang，使用预测方差减少加速随机梯度下降，《神经信息处理系统进展》，2013年，第315-323页。
[22] J.Konečnỳ、J.Liu、P.Richtaárik和M.TakaácṸ，近端环境中的Mini-batch半随机梯度下降，IEEE J.选定主题信号处理，10（2015），第242-255页。
[23] J.Konečnỳ和P.Richtaárik，半随机梯度下降法，Front。申请。数学。统计人员。，3（2017），9·Zbl 1386.90080号
[24] B.Li、M.Ma和G.B.Giannakis，《论SARAH及其后的融合》，《国际人工智能与统计会议》，PMLR，2020年，第223-233页。
[25] G.Li和T.K.Pong，发现Kurdyka-Lojasiewicz不等式的指数演算及其在一阶方法线性收敛中的应用。计算。数学。，18（2018），第1199-1232页·Zbl 1405.90076号
[26] E.Moulines和F.R.Bach，机器学习随机近似算法的非症状分析，《神经信息处理系统进展》，2011年，第451-459页。
[27] L.M.Nguyen、J.Liu、K.Scheinberg和M.Takaíĉ，《SARAH:使用随机递归梯度的机器学习问题的新方法》，载《第34届机器学习国际会议论文集》，PMLR 702017年，第2613-2621页。
[28] N.H.Pham、L.M.Nguyen、D.T.Phan和Q.Tran-Dinh，PROXSARAH：随机复合非凸优化的有效算法框架，J.Mach。学习。研究，21（2020），第110-1页·Zbl 1508.90041号
[29] T.Pock和S.Sabach，非凸和非光滑问题的惯性近端交替线性化最小化（iPALM），SIAM J.成像科学。，9（2016），第1756-1787页·Zbl 1358.90109号
[30] S.J.Reddi、A.Hefny、S.Sra、B.Poíczos和A.Smola，非凸优化的随机方差减少，《第33届机器学习国际会议论文集》，2016年。
[31] S.J.Reddi、S.Sra、B.Poíczos和A.Smola，非光滑非凸优化的快速随机方法，《第30届神经信息处理系统年会论文集》，2016年。
[32] H.Robbins和S.Monro，《随机近似方法》，《数学年鉴》。统计人员。，22（1951年），第400-407页·兹比尔0054.05901
[33] H.Robbins和D.Siegmund，非负几乎上鞅的收敛定理及其应用，载于《统计学中的优化方法》，学术出版社，1971年，第233-257页·Zbl 0286.60025号
[34] M.Schmidt、N.Le Roux和F.Bach，用随机平均梯度最小化有限和，数学。程序。，162（2017），第83-112页·Zbl 1358.90073号
[35] J.Tang、K.Egiazarian和M.Davies，《逆问题中随机梯度算法的局限性和实际加速》，《声学、语音和信号处理国际会议论文集》，IEEE，2019年，第7680-7684页。
[36] J.Tang、K.Egiazarian、M.Golbabaee和M.Davies，成像逆问题中随机优化的实用性，IEEE Trans。计算。《成像》，第6期（2020年），第1471-1485页。
[37] Z.Wang、K.Ji、Y.Zhou、Y.Liang和V.Tarokh，SpiderBoost:一类用于非凸优化的更快方差约简算法，arXiv:1810.106902018。
[38] L.Xiao和T.Zhang，具有渐进方差减少的近端随机梯度方法，技术报告，微软研究，2014·Zbl 1321.65016号
[39] 许永华，尹永华，凸优化与非凸优化的块随机梯度迭代，SIAM J.Optim。，25（2015），第1686-1716页·Zbl 1342.93125号
[40] D.Zhou和Q.Gu，光滑非凸有限和优化的下界，机器学习国际会议，2019年，第7574-7583页。
[41] Y.Zhou，Z.Wang，K.Ji，Y.Liang，和V.Tarokh，非凸组合优化的随机方差减少动量方案，arXiv:1902.027152019。
[42] H.Zou、T.Hastie和R.Tibshirani，稀疏主成分分析，J.Compute。图表。统计人员。，15（2006年），第265-286页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。