×
吴忠明;李崇寿;李敏;安德鲁·利姆

一类非凸优化问题的带Bregman正则化的惯性近似梯度方法。 （英语） Zbl 1466.90081号

J.全球。最佳方案。 79，第3期，617-644（2021年）.
摘要：本文提出了一种惯性Bregman近似梯度法，用于最小化两个可能非凸函数之和。该方法包括两个不同的惯性步骤，并在求解子问题时采用了Bregman正则化。在一些一般参数约束下，我们证明了每个生成序列收敛到所考虑问题的平稳点的子序列收敛性。为了克服参数约束，我们进一步提出了一种非单调线搜索策略，使参数选择更加灵活。通过线搜索，证明了该方法的后续收敛性。当线性搜索是单调的时，我们在Kurdyka-Łojasiewicz框架下证明了较强的全局收敛性和线性收敛速度。此外，还报告了SCAD和MCP非凸惩罚问题的数值结果，以证明所提方法和线性搜索策略的有效性和优越性。

引用于11文件

MSC公司：

90C26型 非凸规划，全局优化
90摄氏52度 减少梯度类型的方法

关键词：

非凸;非光滑的;惯性近似梯度法;Bregman正则化;Kurdyka-łojasiewicz地产;全球收敛

软件：

iPiano公司
PDF格式BibTeX公司 XML格式引用
\textit{Z.Wu}等人，J.Glob。最佳方案。79，编号3，617--644（2021；Zbl 1466.90081）
全文： 内政部

参考文献：

[1] Ahookhosh，M.，Themelis，A.，Patrinos，P.：非凸组合优化的Bregman前向反向线性搜索算法：超线性收敛到非孤立局部极小值（2019）。arXiv:1905.11904年
[2] Alecsa，CD；南卡罗来纳州拉兹洛；Pinţa，T.，建模Nesterov凸梯度法的二阶动力系统的推广，应用。数学。最佳方案。(2020) ·Zbl 1486.34050号 ·doi:10.1007/s00245-020-09692-1
[3] Alvarez，F。；Attouch，H.，通过带阻尼非线性振子的离散化求解最大单调算子的惯性近似方法，集值分析。，9, 3-11 (2001) ·Zbl 0991.65056号
[4] Attouch，H。；博尔特，J。；Svaiter，BF，半代数和驯服问题下降方法的收敛性：近似算法，前向-后向分裂，正则高斯-赛德尔方法，数学。程序。，137, 91-129 (2013) ·Zbl 1260.49048号
[5] Attouch，H。；Peypouquet，J。；Redont，P.，用于凸极小化的惯性前向算法的动力学方法，SIAM J.Optim。，24, 232-256 (2014) ·Zbl 1295.90044号
[6] 澳大利亚银行。；Teboulle，M.，凸和圆锥优化的内部梯度和近端方法，SIAM J.Optim。，162697-725（2006年）·Zbl 1113.90118号
[7] 澳大利亚银行。；Teboulle，M.，不可微凸极小化和变分不等式的非欧几里德距离投影次梯度方法，数学。程序。，120, 27-48 (2009) ·Zbl 1190.90118号
[8] Bauschke，HH；博尔特，J。；陈，J。；特布尔，M。；Wang，X.，关于没有强凸性和Lipschitz梯度连续性的非欧几里得梯度方法的线性收敛性，J.Optim。理论应用。，182, 1068-1087 (2019) ·Zbl 1429.65121号
[9] Bauschke，HH；组合，PL，希尔伯特空间中的凸分析和单调算子理论（2011），柏林：施普林格出版社，柏林·Zbl 1218.47001号
[10] Bauschke，HH；道明尼苏达州；Lindstrom，SB，用Bregman-Moreau信封进行正则化，SIAM J.Optim。，28, 3208-3228 (2018) ·Zbl 1409.90138号
[11] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2, 183-202 (2009) ·Zbl 1175.94009号
[12] Bertsekas，DP，非线性规划（1999），Belmont:Athena Scientific，Belmon·Zbl 1015.90077号
[13] 博尔特，J。；萨巴赫，S。；Teboulle，M.，《近似交替线性化最小化或非凸和非光滑问题》，数学。程序。，146, 459-494 (2014) ·Zbl 1297.90125号
[14] 博尔特，J。；萨巴赫，S。；特布尔，M。；Vaisbound，Y.，超越凸性和Lipschitz梯度连续性的一阶方法及其在二次反问题中的应用，SIAM J.Optim。，28, 2131-2151 (2018) ·Zbl 1402.90118号
[15] 博伊，RI；塞特内克，ER；László，SC，用于最小化两个非凸函数之和的惯性前向后退算法，EURO J.Compute。最佳。，4, 3-25 (2016) ·Zbl 1338.90311号
[16] 蔡，J-F；坎迪斯，EJ；Shen，Z.，矩阵补全的奇异值阈值算法，SIAM J.Optim。，20, 1956-1982 (2010) ·Zbl 1201.90155号
[17] 卡蒙，Y。；杜奇，JC；Hinder，O。；Sidford，A.，非凸优化的加速方法，SIAM J.Optim。，28, 1751-1772 (2018) ·Zbl 1400.90250号
[18] 陈，C。；Chan，RH；马，S。；杨，J.，用于线性约束可分离凸优化的惯性近似ADMM，SIAM J.成像科学。，8, 2239-2267 (2015) ·Zbl 1328.65134号
[19] 范，J。；Li，R.，《通过非一致惩罚似然进行变量选择及其预言属性》，美国统计协会，96，1348-1360（2001）·Zbl 1073.62547号
[20] 高，X。；蔡，X。；Han，D.，一类非凸优化问题的Gauss-Seidel型惯性近端交替线性化极小化，J.Global Optim。，76, 863-887 (2020) ·Zbl 1476.90256号
[21] 加迪米，S。；Lan，G.，非凸非线性随机规划的加速梯度法，数学。程序。，156, 59-99 (2016) ·Zbl 1335.62121号
[22] Ghayem，F。；Sadeghi，M。；Babaie-Zadeh，M。；Chatterjee，S。；斯科格隆德，M。；Jutten，C.，使用迭代近端投影恢复稀疏信号，IEEE Trans。信号处理。，66, 879-894 (2018) ·兹比尔1414.94214
[23] 郭，K。；Han，D.，关于下凸函数优化问题的Douglas-Rachford分裂方法的注记，J.Global Optim。，72, 431-441 (2018) ·Zbl 1412.90107号
[24] Han，D.，变分不等式问题的广义近似点预测校正方法，J.Compute。申请。数学。，221183-193（2008年）·兹比尔1185.65111
[25] Hien，L.T.K.，Gillis，N.，Patrinos，P.：非凸非光滑优化的惯性块镜下降法（2019）。arXiv:1903.01818年
[26] 谢永平；Kao，Y-C；马哈巴迪，RK；Yurtsever，A。；Kyrillidis，A。；Cevher，V.，非凸矩阵分解的非欧几里德梯度下降框架，IEEE Trans。信号处理。，66, 5917-5926 (2018) ·Zbl 1415.94129号
[27] Jain，P。；Kar，P.，《机器学习的非凸优化》，Found。趋势马赫数。学习。，10, 142-336 (2017) ·Zbl 1388.68251号
[28] Johnstone，公关；Moulin，P.，最小化复合函数的一般惯性近似分裂格式的局部和全局收敛，计算。最佳方案。申请。，67, 259-292 (2017) ·Zbl 1376.90046号
[29] Li，H.，Lin，Z.：非凸规划的加速近似梯度法。摘自：《NeurIPS学报》，第379-387页（2015年）
[30] Liang，J.，Monteiro，R.D.，Sim，C.-K.：求解光滑非凸组合优化问题的FISTA型加速梯度算法（2019）。arXiv:1905.07010
[31] Lorenz，DA；Pock，T.，单调包含的惯性前向后退算法，J.Math。成像视觉。，51, 311-325 (2015) ·兹比尔1327.47063
[32] 卢，C。；Tang，J。；Yan，S。；Lin，Z.，通过迭代重加权核范数实现非凸非光滑低秩最小化，IEEE Trans。图像处理。，25, 829-839 (2016) ·Zbl 1408.94866号
[33] 卢，H。；弗伦德，RM；Nesterov，Y.，《用一阶方法进行相对光滑凸优化及其应用》，SIAM J.Optim。，28, 333-354 (2018) ·Zbl 1392.90090号
[34] 穆达菲，A。；Oliny，M.，单调算子分裂惯性近似方法的收敛性，J.计算。申请。数学。，155, 447-454 (2003) ·Zbl 1027.65077号
[35] Mukkamala，M.C.，Ochs，P.，Pock，T.，Sabach，S.：非凸优化中惯性Bregman近端梯度算法的凹凸回溯（2019）。arXiv:1904.03537
[36] Nesterov，Y.，求解具有收敛速度的凸规划问题的一种方法\（O（1/k^2）\），苏联数学。道克。，27, 372-376 (1983) ·Zbl 0535.90071号
[37] Nesterov，Y.，最小化复合函数的梯度方法，数学。程序。，140, 125-161 (2013) ·Zbl 1287.90067号
[38] Ochs，P。；陈，Y。；布罗克斯，T。；Pock，T.，iPiano：非凸优化的惯性近似算法，SIAM J.成像科学。，7, 1388-1419 (2014) ·Zbl 1296.90094号
[39] Ochs，P。；法迪利，J。；Brox，T.，非光滑非凸Bregman最小化：统一和新算法，J.Optim。理论应用。，181, 244-278 (2019) ·Zbl 1416.49015号
[40] Osher，S。；汉堡，M。；Goldfarb，D。；徐，J。；Yin，W.，基于全变量图像恢复的迭代正则化方法，多尺度模型。模拟。，460-489（2005年）·1090.94003赞比亚比索
[41] Pock，T。；Sabach，S.，非凸和非光滑问题的惯性近端交替线性化最小化（iPALM），SIAM J.成像科学。，1756-1787年9月（2016年）·Zbl 1358.90109号
[42] Polyak，BT，《加速迭代法收敛的一些方法》，苏联计算机。数学。数学。物理。，4, 1-17 (1964) ·Zbl 0147.35301号
[43] Rockafellar，RT公司；Wets，RJB，变分分析（2009），柏林：施普林格出版社，柏林·Zbl 0888.49001号
[44] Teboulle，M.，优化一阶方法的简化视图，数学。程序。，170, 67-96 (2018) ·Zbl 1391.90482号
[45] Themelis，A。；斯特拉·L。；Patrinos，P.，两个非凸函数之和的前向背向包络：进一步的性质和非单调线搜索算法，SIAM J.Optim。，28, 2274-2303 (2018) ·Zbl 1404.90106号
[46] 温，B。；陈，X。；Pong，TK，一类非凸非光滑极小化问题的外推近似梯度算法的线性收敛性，SIAM J.Optim。，27, 124-145 (2017) ·Zbl 1359.90138号
[47] 吴，Z。；Li，M.，一类非凸非光滑优化问题的通用惯性近似梯度法，计算。最佳方案。申请。，73, 129-158 (2019) ·兹比尔1420.90054
[48] 吴，Z。；李，M。；王，DZ；Han，D.，可分离非凸极小化问题的对称交替方向乘法器方法，亚太地区。《运营杂志》。第34、6、1750030号决议（2017年）·Zbl 1383.90028号
[49] Yang，L.：一类非凸非光滑问题的带外推和线搜索的近似梯度法（2018）。arXiv:1711.06831
[50] 尹，W。；Osher，S。；Goldfarb，D。；Darbon，J.，Bregman迭代算法在压缩传感中的应用，《成像科学》。，1, 143-168 (2008) ·Zbl 1203.90153号
[51] Zhang，C-H，最小最大凹惩罚下的几乎无偏变量选择，《Ann.Stat.》，38，894-942（2010）·Zbl 1183.62120号
[52] 张，X。；巴里奥，R。；马萨诸塞州马丁内斯；姜浩。；Cheng，L.，一类非凸非光滑最小化问题的带外推的Bregman近似梯度算法，IEEE Access，7126515-126529（2019）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。