×

凸组合规划的具有不确定近似项的线性收敛优化ADMM及其应用。 (英语) Zbl 1441.90123号

摘要:本文旨在研究凸组合优化问题的不定邻近项乘法器优化交替方向法(iPADMM)。我们证明了2块凸优化问题的优化iPADMM在比文献中使用的条件弱的条件下全局收敛,并且在局部误差界条件下表现出线性收敛速度。在此基础上,我们建立了基于对称高斯-塞德尔的优化iPADMM的线性速率收敛结果,该模型是为多块组合凸优化问题设计的。此外,我们应用优化iPADMM来解决不同类型的正则化逻辑回归问题。在合成数据集和实际数据集上的数值结果证明了优化iPADMM的有效性,也说明了引入的不确定近似项的有效性。

MSC公司:

90C25型 凸面编程
90立方 非线性规划
65千5 数值数学规划方法
62J12型 广义线性模型(逻辑模型)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 博特-2016 S.Banert,R.I。Bot和E.R。Csetnek,修复和扩展admm算法的一些最新结果,arXiv预打印arXiv:1612.05057,(2016)·Zbl 1489.65082号
[2] 埃米尔·贝克;Teboulle,Marc,线性反问题的快速迭代收缩阈值算法,SIAM J.成像科学。,2, 1, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[3] libsvm C.-C.Chang和C.-J.Lin,libsvm:支持向量机库,ACM智能系统与技术交易,2(3):第27条,2011年。软件可在网址:http://www.csie.ntu.edu.tw/cjlin/libsvm。
[4] 陈亮;孙德芬;Toh,Kim-Chuan,一种用于高维凸复合圆锥规划的高效非精确对称高斯-赛德尔优化ADMM,数学。程序。,161,1-2,序列号。A、 237-270(2017)·Zbl 1356.90105号 ·doi:10.1007/s10107-016-1007-5
[5] Chuang-2007 H.-Y.Chuang,E.Lee,Y.-T.Liu,D.Lee和T.Ideker,乳腺癌转移的网络分类,分子系统生物学,3(1):1402007。
[6] Clarke,Frank H.,《优化和非光滑分析》,加拿大数学学会专著和高级文本系列,xiii+308 pp.(1983),John Wiley&Sons,Inc.,纽约·Zbl 0696.49002号
[7] 条件-IEEE-2013 L.条件。一维全变分去噪的直接算法。IEEE信号处理快报,20(11):1054-10572013。
[8] Condat,Laurent,《涉及Lipschitz、近似和线性组合项的凸优化的原对偶分裂方法》,J.Optim。理论应用。,158, 2, 460-479 (2013) ·Zbl 1272.90110号 ·doi:10.1007/s10957-012-0245-9
[9] 丁超;孙德芬;张立伟,一类二次规划问题的鲁棒孤立镇定刻画,SIAM J.Optim。,27, 1, 67-90 (2017) ·兹比尔1357.49100 ·doi:10.137/16M1058753
[10] 董云达,卢克生长状况的延伸,应用。数学。莱特。,22, 9, 1390-1393 (2009) ·Zbl 1173.47315号 ·doi:10.1016/j.aml.2007.07.037
[11] Dontchev,A.L.(Dontchev,A.L.)。;Rockafellar,R.T.,变分分析中解映射的正则性和条件,集值分析。,12, 1-2, 79-109 (2004) ·Zbl 1046.49021号 ·doi:10.1023/B:SVAN.0000023394.19482.30
[12] 阿森·多奇夫(Asen L.Dontchev)。;Rockafellar,R.Tyrrell,隐函数和解映射,施普林格数学专著,xii+375页(2009),施普林格,多德雷赫特·Zbl 1178.26001号 ·doi:10.1007/978-0-387-87821-8
[13] 德米特里·德鲁夫亚茨基;Lewis,Adrian S.,误差界,二次增长和近似方法的线性收敛,数学。操作。决议,43,3,919-948(2018)·Zbl 1440.90046号 ·doi:10.1287/门.2017.0889
[14] Ecksteinhd-thesis J.Eckstein,单调算子的分裂方法及其在并行优化中的应用,麻省理工学院博士论文,1989年。
[15] Eckstein-OMS-1994 J.Eckstein,凸规划的一些鞍函数分裂方法,优化方法与软件,4(1):75-831994。
[16] 乔纳森·埃克斯坦(Jonathan Eckstein);Bertsekas,Dimitri P.,关于Douglas-Rachford分裂方法和最大单调算子的近点算法,数学。编程,55,3,序列号。A、 293-318(1992)·Zbl 0765.90073号 ·doi:10.1007/BF01581204
[17] 法泽尔、玛丽亚姆;Pong、Ting Kei;孙德芬;Tseng,Paul,Hankel矩阵秩最小化及其在系统识别和实现中的应用,SIAM J.矩阵分析。申请。,34, 3, 946-977 (2013) ·Zbl 1302.90127号 ·doi:10.1137/110853996
[18] 米歇尔·福廷(Michel Fortin);罗兰德·格洛文斯基(Roland Glowinski),《增广拉格朗日方法》(Augmented Lagrangian methods),《数学及其应用研究》(Studies in Mathematics and its Applications)第15、xix+340页(1983年),北霍兰德出版公司,阿姆斯特丹·Zbl 0525.65045号
[19] Friedman-2010 J.Friedman,T.Hastie,and R.Tibshirani,通过坐标下降广义线性模型的正则化路径,统计软件杂志,33(1):12010。
[20] GABayMer-1976 D.Gabay和M.Bertrand,通过有限元近似求解非线性变分问题的对偶算法,计算机数学与应用,2(1):17-401976·Zbl 0352.65034号
[21] Glowinski,Roland,《非线性变分问题的数值方法》,科学计算,xviii+493 pp.(2008),柏林斯普林格-弗拉格出版社·Zbl 1139.6500号
[22] 罗兰·格洛文斯基,《关于乘数的交替方向方法:历史观点》。科学技术建模、仿真和优化,计算机。方法应用。科学。34、59-82(2014),多德雷赫特施普林格·兹比尔132065098 ·doi:10.1007/978-94-017-9054-3\4
[23] 格洛温斯基,R。;Marrocco,A.,Sur l“近似值,par”{e} 我\'{e} 个月结束“秩序”{e} 解决方案,第p段{e} 确定性\'{e},'une classe de probl\'emes de Dirichlet non lin\'{e} 空气,修订版Fran \c{c} aise公司自动化。通知。重新整理操作{e} 理性主义者S\'{e} r.(右)。《胭脂分析》。数字\'{e} r.(右)。,9,编号,编号{\rm{R}}-2,41-76(1975)·Zbl 0368.65053号
[24] Golub,Gene H。;Van Loan,Charles F.,《矩阵计算》,《约翰霍普金斯数学科学研究》,xiv+756页(2013),约翰霍普金大学出版社,马里兰州巴尔的摩·Zbl 1268.65037号
[25] 韩德仁;孙德芬;张立伟,凸组合规划交替方向乘子法的线性速度收敛性,数学。操作。决议,43,2,622-637(2018)·Zbl 1440.90047号 ·doi:10.1287/门.2017.0875
[26] HU-book-2013 J.-B.Hiriart-Urruti和C.Lemar,《凸分析和最小化算法I:基础》,第305卷。施普林格科学与商业媒体,2013年。
[27] 詹姆斯·2013年总经理。James,C.Paulson和P.Rusmevichientong,《惩罚和约束优化:高维网站广告应用》,美国统计协会杂志,2019年。可在https://doi.org/10.1080/01621459.2019.1609970。 ·Zbl 1437.62687号
[28] 鲁道夫·杰纳顿;Jean-Yves奥迪伯特;巴赫,弗朗西斯,具有稀疏诱导准则的结构化变量选择,J.马赫。学习。第12号决议,第2777-2824页(2011年)·Zbl 1280.68170号
[29] 林欣怡;Marron,J.S。;孙德芬;Toh,Kim-Chuan,大规模广义距离加权判别的快速算法,J.Compute。图表。统计人员。,27, 2, 368-379 (2018) ·Zbl 07498954号 ·doi:10.1080/1061600.2017.1366915
[30] 勒马尔{e} 查尔克劳德;萨加斯蒂兹{a} 平衡,平衡,Claudia,Moreau-Yosida正则化的实际方面:理论预备,SIAM J.Optim。,7, 2, 367-385 (1997) ·Zbl 0876.49019号 ·doi:10.1137/S1052623494267127
[31] 李敏;孙德芬;Toh,Kim-Chuan,线性约束凸组合优化的不确定近似项优化ADMM,SIAM J.Optim。,26, 2, 922-950 (2016) ·Zbl 1338.90305号 ·doi:10.1137/14099025
[32] 李旭东;孙德芬;Toh,Kim-Chuan,基于Schur补码的凸二次锥规划半近似ADMM及其扩展,数学。程序。,155,1-2,序列号。A、 333-373(2016)·Zbl 1342.90134号 ·doi:10.1007/s10107-014-0850-5
[33] 李旭东;孙德芬;Toh,Kim-Chuan,凸组合二次规划的块对称高斯-赛德尔分解定理及其应用,数学。程序。,175,1-2,序列号。A、 395-418(2019)·Zbl 1412.90086号 ·doi:10.1007/s10107-018-1247-7
[34] 李旭东;孙德芬;Toh,Kim-Chuan,求解套索问题的高效半光滑牛顿增广拉格朗日方法,SIAM J.Optim。,28, 1, 433-458 (2018) ·Zbl 1392.65062号 ·doi:10.1137/16M1097572
[35] UCI M.Lichman,UCI机器学习库,2013年。可在http://archive.ics.uci.edu/ml。
[36] Liu-ACM-2009 J.Liu、J.Chen和J.Ye,大尺度稀疏逻辑回归,第15届ACM SIGKDD知识发现和数据挖掘国际会议论文集,第547-556页。ACM,2009年。
[37] liu2010高效J.Liu、L.Yuan和J.Ye,一类融合套索问题的高效算法,第16届ACM SIGKDD国际知识发现和数据挖掘会议论文集,第323-332页。ACM,2010年。
[38] 莫罗,珍妮·雅克,《Proximit et dualit》,《e}dans un espace hilbertien》,公牛。社会数学。法国,93,273-299(1965)·Zbl 0136.12101号
[39] Nesterov,Yurii,凸优化入门讲座,基础课程。应用优化87,xviii+236 pp.(2004),Kluwer学术出版社,马萨诸塞州波士顿·兹比尔1086.90045 ·doi:10.1007/978-1-4419-8853-9
[40] 于内斯特罗夫。E.,一种求解具有收敛速度的凸规划问题的方法\(O(1/k^2)\),Dokl。阿卡德。诺克SSSR,269,3543-547(1983)
[41] Robinson,Stephen M.,多面体多函数的一些连续性,数学。编程研究,14,206-214(1981)·Zbl 0449.90090号 ·doi:10.1007/bfb0120929
[42] Rockafellar,R.Tyrrell,《凸分析》,普林斯顿数学系列,第28期,第xviii+451页(1970),普林斯顿大学出版社,新泽西州普林斯顿·Zbl 0932.90001号
[43] Rockafellar-VA-2009 R.T.公司。Rockafellar和R.J-B.Wets,变分分析,第317卷。Springer科学与商业媒体,2009年。
[44] Sun,Jie,On monotropic piecewise quadratic programming \textup{(}Network,algorithm,凸规划,分解方法\textup{)},104 pp.(1986),ProQuest LLC,Ann Arbor,MI
[45] Tibshirani,Robert,通过套索进行回归收缩和选择,J.Roy。统计师。Soc.序列号。B、 58、1、267-288(1996)·Zbl 0850.62538号
[46] Tibshirani-1997 R.Tibshilani,Cox模型中变量选择的套索方法,医学统计学,16(4):385-3951997。
[47] 罗伯特·蒂布希拉尼;迈克尔·桑德斯;罗塞特,撒哈拉;朱,季;Knight,Keith,《通过融合套索的稀疏性和流畅性》,J.R.Stat.Soc.Ser。B统计方法。,67, 1, 91-108 (2005) ·Zbl 1060.62049号 ·文件编号:10.1111/j.1467-9868.2005.00490.x
[48] Ye,J.J.,变分不等式约束优化问题的约束条件和必要最优性条件,SIAM J.Optim。,10, 4, 943-962 (2000) ·Zbl 1005.49019号 ·doi:10.1137/S105262349834847X
[49] YZZ-LADMM X.Yuan、S.Zeng和J.Zhang。通过变分分析的方法识别结构凸优化的admm的线性收敛性。2018年。网址:http://www.optimization-online.org/DBHTML/2018/10/6882.HTML。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。