×
白建超;贾林源;彭，郑

对增广拉格朗日方法的新见解及其在机器学习中的应用。 （英语） Zbl 07839671号

科学杂志。计算。 99，第2期，第53号论文，33页（2024年）.
摘要：通过对原始子问题使用双罚项，我们发展了一种新的松弛增广拉格朗日方法，用于求解一类受等式或不等式约束的凸优化问题。然后将该方法推广到求解一般的多块可分离凸优化问题，并讨论了两种相关的原对偶混合梯度算法。通过对问题鞍点和所涉及子问题的一阶最优性条件的变分刻划，建立了关于次线性和线性收敛速度的收敛结果。对线性支持向量机问题和机器学习产生的鲁棒主成分分析问题的大量测试实验表明，我们提出的算法比几种最先进的算法性能要好得多。

MSC公司：

65K10码 数值优化和变分技术
65年20月 数值算法的复杂性和性能
90C25型 凸面编程

关键词：

凸优化;增广拉格朗日方法;弛豫步长;收敛复杂性;机器学习
PDF格式BibTeX公司 XML格式引用
\textit{J.Bai}等人，《科学杂志》。计算。99，第2期，第53号论文，33页（2024；Zbl 07839671）
全文： 内政部

参考文献：

[1] Argyriou，A。；Evgeniou，T。；Pontil，M.，多任务特征学习，高级神经信息。过程。系统。，19, 41-48, 2007
[2] Banert，S.，Upadhyaya，M.，Giselsson，P.：Chambolle-Pock方法弱收敛于\（θ>1/2）和\（τ\sigma\Vert L\Vert^2<4/（1+2\θ）\），（2023），arXiv:2309.03998v1
[3] Bai，J。；李，J。；徐，F。；张，H.，可分离凸优化的广义对称ADMM，计算。最佳方案。申请。，70, 129-170, 2018 ·Zbl 1461.65126号 ·doi:10.1007/s10589-017-9971-0
[4] Bai，J。；郭，K。；Chang，X.，多参数化近点算法家族，IEEE Access，7164021-164028，2019·doi:10.1109/ACCESS.2019.2952155
[5] Bai，J。；李，J。；Wu，Z.，原始-对偶混合梯度算法的几个变体及其应用，Numer。数学。西奥。方法。申请。，13, 176-199, 2020 ·Zbl 1463.65150号 ·doi:10.4208/nmtma。OA-2019-0030
[6] Bai，J。；Hager，W。；Zhang，H.，可分离凸优化的不精确加速随机ADMM，计算。最佳方案。申请。，81, 479-518, 2022 ·Zbl 1487.90521号 ·doi:10.1007/s10589-021-00338-8
[7] Bai，J。；马云（Ma，Y.）。；Sun，H。；Zhang，M.，基于部分LQP的交替方向乘法器方法的迭代复杂性分析，应用。数字。数学。，2021年5月165日至518日·Zbl 1465.65048号 ·doi:10.1016/j.apnum.2021.03.014
[8] Bai，J。；Chang，X。；李，J。；Xu，F.，广义对称ADMM的收敛重访，优化，70149-1682021·Zbl 1459.90149号 ·doi:10.1080/02331934.2019.1704754
[9] 布鲁顿，S。；Nathan Kutz，J.，《机器学习、动态系统和控制》，2019年，剑桥：剑桥大学出版社，剑桥·Zbl 1407.68002号
[10] 崔，J。；严，X。；Pu，X.，基于动态PCA和改进SVM的航空发动机故障诊断，J.Vib。Meas公司。Dian.、。，35, 94-99, 2015
[11] Chambolle，A。；Pock，T.，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。成像视觉。，40, 120-145, 2011 ·Zbl 1255.68217号 ·doi:10.1007/s10851-010-0251-1
[12] 坎迪斯，E。；李，X。；马云（Ma，Y.）。；Wright，J.，稳健主成分分析？，J.ACM，58,1-372011年·Zbl 1327.62369号 ·数字对象标识代码：10.1145/1970392.1970395
[13] 法奇尼，F。；庞，J.，《有限维变分不等式与互补问题》，2003年，柏林：施普林格-弗拉格出版社，柏林·Zbl 1062.90001号
[14] 顾，G。；他，B。；Yuan，X.，线性约束凸极小化和鞍点问题的定制近点算法：统一方法，计算。最佳方案。申请。，59, 135-161, 2014 ·兹比尔1303.90080 ·doi:10.1007/s10589-013-9616-x
[15] Hao，Y。；Sun，J。；Yang，G。；Bai，J.，支持向量机在燃气轮机性能诊断中的应用，中国。J.Aeronaut。，18, 15-19, 2005 ·doi:10.1016/S1000-9361（11）60276-8
[16] Hestenes，M.，乘数和梯度法，J.Optim。理论应用。，4, 303-320, 1969 ·Zbl 0174.20705号 ·doi:10.1007/BF00927673
[17] 他，B。；Yuan，X.，关于Douglas Rachford交替方向方法的\（O（1/n）\）收敛速度，SIAM J.Numer。分析。，50, 700-709, 2012 ·Zbl 1245.90084号 ·数字对象标识代码：10.1137/10836936
[18] 他，B。；袁，X。；Zhang，W.，一种用于线性约束凸极小化的定制近点算法，计算。最佳方案。申请。，56, 559-572, 2013 ·Zbl 1287.90048号 ·doi:10.1007/s10589-013-9564-5
[19] 他，B。；Yuan，X.，一类基于ADMM的三块可分离凸规划算法，计算。最佳方案。申请。，70, 791-826, 2018 ·Zbl 1393.90085号 ·doi:10.1007/s10589-018-9994-1
[20] 他，B。；你，Y。；袁，X.，关于原-对偶混合梯度算法的收敛性，SIAM J.Imaging Sci。，7, 2526-2537, 2014 ·Zbl 1308.90129号 ·数字对象标识代码：10.1137/140963467
[21] He，B.，关于交替方向乘数法的收敛性，Numer。数学。J.Chin.中国。大学（中文系列），39，81-962017·Zbl 1389.90255号
[22] He，B.，Yuan，X.：凸规划的平衡增广拉格朗日方法（2021）arXiv:2108.08554v1
[23] He，B.，Xu，S.，Yuan，J.：线性不等式约束凸规划的不定线性增广拉格朗日方法，（2021）arXiv:2105.02425v1
[24] He，H。；德赛，J。；Wang，K.，鞍点优化的原对偶预测校正算法，J.Glob。优化。，66573-5832016年·Zbl 1356.90160号 ·doi:10.1007/s10898-016-0437-1
[25] 他，B。；马，F。；徐，S。；袁，X.，鞍点问题的一种改进收敛条件的广义原对偶算法，SIAM J.成像科学。，15, 1157-1183, 2022 ·兹比尔1494.94009 ·doi:10.1137/21M1453463
[26] 江，F。；张，Z。；He，H.，《解决鞍点问题：具有较大步长的原对偶算法的景观》，J.Global Optim。，85, 821-846, 2023 ·Zbl 1516.90115号 ·doi:10.1007/s10898-022-01233-0
[27] 江，F。；吴，Z。；蔡，X。；Zhang，H.，一类凹凸鞍点问题的一阶非精确原对偶算法，Numer。阿尔戈。，88, 1109-1136, 2021 ·兹比尔1478.90088 ·数字对象标识代码：10.1007/s11075-021-01069-x
[28] 李磊，《凸优化的应用选择》，2015年17月18日，北京：清华大学出版社，北京
[29] 李强。；Xu，Y。；Zhang，N.，多块可分离凸问题的两步定点逼近算法，J.Sci。计算。，70, 1204-1228, 2017 ·Zbl 1368.65088号 ·doi:10.1007/s10915-016-0278-6
[30] 刘，Z。；李，J。；Li，G.，稀疏低秩矩阵分解的新模型，J.Appl。分析。计算。，7, 600-616, 2017 ·Zbl 1488.65103号
[31] 马，F。；Ni，M.，一类用于线性约束凸优化的自定义近点算法，计算。申请。数学。，37, 896-911, 2018 ·Zbl 06912443号 ·doi:10.1007/s40314-016-0371-3
[32] Osher，S。；希顿，H。；Fung，S.，A HamiltonšCJacobi近端算子，PANS，120，e2220469120，2023·doi:10.1073/pnas.2220469120
[33] 鲍威尔，M。；Fletcher，R.，最小化问题中非线性约束的一种方法，最优化，283-2981969，纽约：学术出版社，纽约
[34] 帕帕迪米特里奥，C。；Raghavan，P。；Tamaki，H。；Vempala，S.，《潜在语义索引，概率分析》，J.Compute。系统。科学。，61, 217-235, 2000 ·Zbl 0963.68063号 ·doi:10.1006/jcss.2000.1711
[35] Robinson，S.，多面体多函数的一些连续性，数学。程序。螺柱，14，206-2411981·Zbl 0449.90090号 ·doi:10.1007/BFb0120929
[36] 沈毅。；Zuo，Y。；Yu，A.，线性约束下可分离凸优化的部分近似S-ADMM，应用。数字。数学。，160, 65-83, 2021 ·Zbl 1459.90159号 ·doi:10.1016/j.apnum.2020.09.016
[37] 陶，M。；Yuan，X.，从不完全和噪声观测中恢复矩阵的低秩和稀疏分量，SIAM J.Optim。，21, 57-81, 2011 ·Zbl 1218.90115号 ·数字对象标识代码：10.1137/100781894
[38] Xu，S.，线性约束凸规划的对偶-最小平衡增广拉格朗日方法，J.Appl。数学。计算。，69, 1015-1035, 2023 ·Zbl 1509.90152号 ·doi:10.1007/s12190-022-01779-y
[39] Zhu，Y。；吴杰。；Yu，G.，压缩感知中（l_1）最小化问题的快速近点算法，应用。数学。计算。，270, 777-784, 2015 ·Zbl 1410.90160号
[40] Zhang，X.：Bregman发散和镜像下降，讲义，（2013）http://users.cecs.anu.edu.au/xzhang/教学/bregman.pdf
[41] 朱，M。；Chan，TF，一种用于全变差图像恢复的高效原始-双重混合梯度算法，CAM报告08-342008，洛杉矶：加州大学洛杉矶分校，洛杉矶
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。