×
乔纳森·埃克斯坦;姚、王

近似ADMM算法源自拉格朗日分裂。 （英语） Zbl 1378.90063号

计算。最佳方案。申请。 68，第2期，363-405（2017）.
摘要：本文提出了交替方向乘法器（ADMM）的两个新的近似版本，这两个版本是通过修改原“拉格朗日分裂”收敛分析导出的M.Fortin先生和R.格洛温斯基[“关于使用增广拉格朗日函数的分解-协调方法”，《数学研究应用》15，97–146（1983；doi:10.1016/S0168-2024（08）70028-6)]. 它们既不需要目标函数的强凸性，也不需要对耦合矩阵有任何限制。第一种方法使用绝对可和的误差准则，并且类似于早先关于ADMM和近点方法之间关系的工作中得出的方法，但无需任何限制性假设，使其切实可行。它允许不精确地解决这两个子问题。第二种方法使用相对误差准则和最近提出的同类辅助迭代序列，以实现非分解增广拉格朗日算法的相对误差近似实现。它还允许不精确地解决这两个子问题，尽管排除“干扰”行为需要一些复杂的实现。这两种方法的收敛性分析具有广泛的基础元素。

引用于32文件

MSC公司：

90C25型 凸面编程
49平方米27 分解方法
65千5 数值数学规划方法
65K10码 数值优化和变分技术

关键词：

交替方向乘法器法;凸规划;分解方法

软件：

L-BFGS公司;UCI-毫升;阿尔根坎
PDF格式BibTeX公司 XML格式引用
\textit{J.Eckstein}和\textit{W.Yao}，计算。最佳方案。申请。68，第2号，363--405（2017；Zbl 1378.90063）
全文： 内政部

参考文献：

[1] Alves，M.M.，Svaiter，B.F.：关于乘积空间中Fejér-单调序列及其在增广拉格朗日方法对偶收敛中的应用的注记。数学。程序。155(1-2), 613-616 (2016) ·Zbl 1332.90191号 ·doi:10.1007/s10107-014-0849-y
[2] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2(1), 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[3] Birgin，E.G.，Martínez，J.M.：约束优化的实用增广拉格朗日方法。费城SIAM（2014）·Zbl 1339.90312号 ·doi:10.1137/1.9781611973365
[4] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.、Eckstein，J.：通过交替方向乘数法进行分布式优化和统计学习。找到。趋势马赫数。学习。3(1), 1-122 (2011) ·Zbl 1229.90122号 ·doi:10.1561/220000016
[5] Chambolle，A.、DeVore，R.A.、Lee，N.Y.、Lucier，B.J.：非线性小波图像处理：变分问题、压缩和通过小波收缩去除噪声。IEEE传输。图像处理。7(3), 319-335 (1998) ·Zbl 0993.94507号 ·数字对象标识代码：10.1109/83.661182
[6] Dettling，M.，Bühlmann，P.：从微阵列数据中发现预测基因组。J.多变量。分析。90(1), 106-131 (2004) ·Zbl 1047.62103号 ·doi:10.1016/j.jmva.2004.02.012
[7] Duarte，M.F.，Davenport，M.A.，Takbar，D.，Laska，J.N.，Sun，T.，Kelly，K.F.，Baraniuk，R.G.：通过压缩采样实现单像素成像：构建更简单、更小、更便宜的数码相机。IEEE标准。过程。Mag.25（2），83-91（2008）·doi:10.1109/MSP.2007.914730
[8] Eckstein，J.：单调算子的分裂方法及其在并行优化中的应用。麻省理工学院博士论文（1989年）
[9] Eckstein，J.：凸规划的一些鞍函数分裂方法。最佳方案。方法软件。4（1），75-83（1994）·doi:10.1080/10556789408805578
[10] Eckstein，J.：基于Bregman距离的乘数方法的实用通用近似准则。数学。程序。96(1), 61-86 (2003) ·Zbl 1023.90048号 ·doi:10.1007/s10107-003-0374-x
[11] Eckstein，J.，Bertsekas，D.P.：关于最大单调算子的Douglas-Rachford分裂方法和近点算法。数学。程序。55(3), 293-318 (1992) ·Zbl 0765.90073号 ·doi:10.1007/BF01581204
[12] Eckstein，J.，Silva，P.J.S.：增广拉格朗日函数的实用相对误差准则。数学。程序。141(1-2), 319-348 (2013) ·Zbl 1362.90312号 ·doi:10.1007/s10107-012-0528-9
[13] Eckstein，J.，Yao，W.：乘数交替方向方法的近似版本。技术代表2016-01-5276，在线优化（2016）
[14] Fan，R.E.，Chen，P.H.，Lin，C.J.：使用二阶信息训练支持向量机的工作集选择。J.马赫。学习。1889-1918年第6号决议（2005年）·Zbl 1222.68198号
[15] Fortin，M。；格洛温斯基，R。；Fortin，M.（编辑）；Glowinski，R.（编辑），《使用增广拉格朗日函数的分解-协调方法》，第15期（1983年），阿姆斯特丹·Zbl 0491.65036号
[16] 富兰克林，J.：统计学习的要素：数据挖掘、推理和预测。数学。智力。27(2), 83-85 (2005) ·doi:10.1007/BF02985802
[17] 加贝，D。；Fortin，M.（编辑）；Glowinski，R.（编辑），乘子方法在变分不等式中的应用，第15期，299-331（1983），阿姆斯特丹
[18] 盖恩，I。；Gunn，S。；Ben-Hur，A。；Dror，G。；Saul，L.（编辑）；Weiss，Y.（编辑）；Bottou，L.（编辑），NIPS 2003特征选择挑战的结果分析，545-552（2005），剑桥
[19] He，B.：单调一般变分不等式的非精确隐式方法。数学。程序。86(1), 199-217 (1999) ·Zbl 0979.49006号 ·doi:10.1007/s101070050086
[20] He，B.，Liao，L.Z.，Han，D.，Yang，H.：单调变分不等式的一种新的非精确交替方向方法。数学。程序。92(1), 103-118 (2002) ·兹比尔1009.90108 ·doi:10.1007/s101070100280
[21] Huang，Y.，Liu，H.：最小化复合函数的Barzilai-Borwein型方法。数字。算法69（4），819-838（2015）·Zbl 1321.65099号 ·doi:10.1007/s11075-014-9927-8
[22] Kogan，S.、Levin，D.、Routledge，B.R.、Sagi，J.S.、Smith，N.A.：通过回归预测财务报告中的风险。摘自：《人类语言技术学报：计算语言学协会北美分会2009年年会》。NAACL’09，第272-280页。计算语言学协会，宾夕法尼亚州斯特鲁兹堡，美国（2009年）·Zbl 0961.90128号
[23] Lichman，M.：UCI机器学习库（2013）。统一资源定位地址http://archive.ics.uci.edu/ml
[24] Liu，D.C.，Nocedal，J.：关于大规模优化的有限内存BFGS方法。数学。程序。45(3), 503-528 (1989) ·Zbl 0696.90048号 ·doi:10.1007/BF01589116
[25] Ng，A.Y.：特征选择，L1与L2正则化，以及旋转不变性。摘自：《机器学习第二十届国际会议论文集》，ICML 2004，第615-622页（2004）·Zbl 0850.62538号
[26] Nocedal，J.，Wright，S.J.：《数值优化》，第二版。施普林格，纽约（2006）·Zbl 1104.65059号
[27] Polyak，B.T.：优化导论。优化软件公司，纽约（1987）·Zbl 0708.90083号
[28] Rockafellar，R.T.：非线性单调算子的局部有界性。密歇根数学。J.16，397-407（1969）·Zbl 0175.45002号 ·doi:10.1307/mmj/1029000324
[29] Rockafellar，R.T.：凸分析。普林斯顿大学出版社，普林斯顿（1970）·Zbl 0193.18401号 ·doi:10.1515/9781400873173
[30] Rockafellar，R.T.：共轭对偶与优化。SIAM，费城（1974）·兹比尔0296.90036 ·doi:10.137/1.9781611970524
[31] Solodov，M.V.，Svaiter，B.F.：一种混合投影-近点算法。J.凸面分析。6（1），59-70（1999）·Zbl 0961.90128号
[32] Solodov，M.V.，Svaiter，B.F.：一种不精确的混合广义近点算法和关于Bregman函数理论的一些新结果。数学。操作。第25（2）号决议，214-230（2000）·Zbl 0980.90097号 ·doi:10.1287/门25.2.214.12222
[33] Tibshirani，R.：通过套索进行回归收缩和选择。J.R.统计社会服务。B 58（1），267-288（1996）·Zbl 0850.62538号
[34] Xie，J.，Liao，A.，Yang，X.：具有相对误差准则的不精确交替方向乘数法。Optim。莱特。11(3), 583-596 (2017) ·Zbl 1367.90089号 ·doi:10.1007/s11590-016-1021-9
[35] Yuan，X.M.：He等人对单调变分不等式的非精确交替方向法的相对误差改进。数学。计算。模型。42(11-12), 1225-1236 (2005) ·Zbl 1081.49010号 ·doi:10.1016/j.cm.2005.04.007
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。