×
董倩；刘欣；文，宰文；袁亚祥

一种用于复合凸优化的并行线搜索子空间校正方法。 （英语） Zbl 1317.90234号

《运营杂志》。Res.Soc.中国 3，第2期，163-187（2015）.
摘要：在本文中，我们研究了一种用于复合凸优化的并行子空间校正框架。变量首先根据特定规则划分为几个块。在每次迭代中，算法同时在每个块上求解一个合适的子问题，通过组合它们在所有块上的解来构造搜索方向，然后使用满足Armijo线搜索条件的步长沿该方向识别一个新点。它们分别被称为PSCLN和PSCLO，这取决于两个直接相邻的变量块之间是否存在重叠区域。它们的收敛是在温和的假设下建立的。我们将PSCLN和PSCLO与快速迭代阈值算法的并行版本以及使用Barzilai-Borwein步长和贪婪坐标块下降法求解（ell_1）正则化最小化问题的定点延拓方法进行了比较。我们的数值结果表明，PSLN和PSCLO可以快速运行在大多数测试问题上，返回的解决方案并不比最先进的算法差。此外，当问题的数据具有特定的结构时，重叠区域分解方案也很有用。

引用于1文件

MSC公司：

90C25型 凸面编程
49平方米27 分解方法

关键词：

行搜索；块坐标下降法；区域分解；雅可比型迭代；分布式优化

软件：

备用日志记录；格尔姆奈特
PDF格式BibTeX公司 XML格式引用
\textit{Q.Dong}等人，J.Oper。中国研究学会3，第2号，163--187（2015；Zbl 1317.90234）
全文： 内政部

参考文献：

[1] Barzilai，J.，Borwein，J.M.：两点步长梯度法。IMA J.数字。分析。8(1), 141-148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[2] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2(1), 183-202 (2009) ·兹比尔1175.94009 ·doi:10.1137/080716542
[3] Beck，A.，Terameshvili，L.：关于块坐标下降型方法的收敛性。SIAM J.Optim公司。23(4), 2037-2060 (2013) ·Zbl 1297.90113号 ·数字对象标识代码：10.1137/120887679
[4] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.、Eckstein，J.：通过交替方向乘数法进行分布式优化和统计学习。已找到。趋势马赫数。学习。3(1), 1-122 (2011) ·Zbl 1229.90122号 ·doi:10.1561/220000016
[5] Carstensen，C.：非光滑凸极小化问题的区域分解及其在塑性中的应用。数字。线性代数应用。4(3), 177-190 (1997) ·Zbl 0890.49015号 ·doi:10.1002/（SICI）1099-1506（199705/06）4:3<177:：AID-NLA106>3.0.CO；2-B型
[6] Deng，W.，Lai，M.J.，Peng，Z.，Yin，W.：o（1/k）收敛的并行多块admm。arXiv预印arXiv:1312.3040（2013）·Zbl 1398.65121号
[7] Fercoq，O.，Richtárik，P.：加速、平行和近端坐标下降。arXiv预印arXiv:1312.5799（2013）·Zbl 1327.65108号
[8] Fercoq，O.，Richtárik，P.：用平行坐标下降法对非光滑函数进行平滑最小化。arXiv预印arXiv:1309.5885（2013）·Zbl 1421.90061号
[9] Fornasier，M.：稀疏约束线性反问题的区域分解方法。反向探测。23(6), 2505 (2007) ·Zbl 1131.65042号 ·doi:10.1088/0266-5611/23/6/014
[10] Fornasier，M.，Schönlieb，C.B.：总变差和l_1最小化的子空间校正方法。SIAM J.数字。分析。47(5), 3397-3428 (2009) ·兹比尔1203.65098 ·doi:10.1137/070710779
[11] Fornasier，M.，Langer，A.，Schönlieb，C.B.：一种收敛的重叠区域分解方法，用于最小化总变化。数字数学。116(4), 645-685 (2010) ·Zbl 1206.65170号 ·doi:10.1007/s00211-010-0314-7
[12] Fornasier，M.，Kim，Y.，Langer，A.，Schönlieb，C.B.：用于\[l_2/\text{tv}\]l2/tv-i图像去模糊的小波分解方法。SIAM J.成像科学。5(3), 857-885 (2012) ·Zbl 1259.65101号 ·数字对象标识代码：10.1137/100819801
[13] Friedman，J.，Hastie，T.，Tibshirani，R.：通过坐标下降的广义线性模型的正则化路径。J.统计软件。33(1), 1 (2010)
[14] Gabay，D.，Mercier，B.：通过有限元近似求解非线性变分问题的对偶算法。计算。数学。申请。2（1），17-40（1976）·Zbl 0352.65034号 ·doi:10.1016/0898-1221（76）90003-1
[15] Glowinski，R.，Marroco，A.：Sur l’approximation，paréléments finis d’ordre un，and la Résolution，par pénalisation dualitéd’une classe de dirichlet non-linéaires近似，最终结果和解决方案，非线性问题的双重分类。ESAIM 9（R2），41-76（1975）。http://www.eudml.org/doc/193269 ·Zbl 0368.65053号
[16] Hale，E.T.，Yin，W.，Zhang，Y.：l1-最小化的定点延拓：方法论和收敛性。SIAM J.Optim公司。19(3), 1107-1130 (2008) ·Zbl 1180.65076号 ·数字对象标识代码：10.1137/070698920
[17] He，B.，Xu，H.K.，Yuan，X.：关于多块可分离凸极小化问题alm的近端雅可比分解及其与ADMM的关系（2013）。http://www.optimization-online.org/DB_FILE/2013/11/4142.pdf ·Zbl 1371.65052号
[18] He，B.，Yuan，X.：关于多块可分凸规划及其后的ADMM的直接推广：从变分不等式的角度（2014）。http://www.optimization-online.org/DB_FILE/2014/03/4293.pdf
[19] Hong，M.、Wang，X.、Razaviyayn，M.，Luo，Z.Q.：块坐标下降方法的迭代复杂性分析。arXiv预印arXiv:1310.6957（2013）·Zbl 1367.49010号
[20] Kyrola，A.、Bickson，D.、Guestrin，C.、Bradley，J.K.：l1-正则化损失最小化的平行坐标下降。摘自：《第28届机器学习国际会议论文集》，第321-328页（2011）·Zbl 0352.65034号
[21] Langer，A.，Osher，S.，Schönlieb，C.B.：用于图像恢复的Bregmaized域分解。科学杂志。计算。54(2-3), 549-576 (2013) ·Zbl 1308.94020号 ·数字对象标识代码：10.1007/s10915-012-9603-x
[22] Li，X.，Sun，D.，Toh，K.C.：凸二次锥规划和扩展的基于schur补码的半近似admm。arXiv预印arXiv:1409.2679（2014）·Zbl 1342.90134号
[23] Lin，Q.，Lu，Z.，Xiao，L.：加速近端坐标梯度法及其在正则化经验风险最小化中的应用。arXiv预印arXiv:1407.1296（2014）·Zbl 1329.65127号
[24] Lin，T.，Ma，S.，Zhang，S.：关于多块ADMM的收敛速度。arXiv预印arXiv:1408.4265（2014）·兹比尔1323.90052
[25] 狮子，P.L.：关于施瓦茨交替法。I.In：第一届偏微分方程区域分解方法国际研讨会，法国巴黎，第1-42页。(1988) ·兹比尔1308.94020
[26] Lu，Z.，Xiao，L.：关于随机区组坐标下降法的复杂性分析。arXiv预印arXiv:1305.4723（2013）·Zbl 1321.65100号
[27] Lu，Z.，Xiao，L.：一类非线性规划的随机块坐标非单调梯度方法。arXiv预印arXiv:1306.5918（2013）
[28] 罗志强，曾平：关于凸可微极小化的坐标下降法的收敛性。J.优化。理论应用。72(1), 7-35 (1992) ·Zbl 0795.90069号 ·doi:10.1007/BF00939948
[29] Luo，Z.Q.，Tseng，P.：关于凸本质光滑极小化下降法的线性收敛性。SIAM J.控制优化。30(2), 408-425 (1992) ·Zbl 0756.90084号 ·doi:10.1137/0330025
[30] 罗志强，曾平：可行下降法的误差界和收敛性分析：一种通用方法。安·Oper。第46（1）号决议，157-178（1993）·Zbl 0793.90076号 ·doi:10.1007/BF02096261
[31] Nesterov，Y.：坐标下降法在大规模优化问题上的效率。SIAM J.Optim公司。22(2), 341-362 (2012) ·Zbl 1257.90073号 ·数字对象标识代码：10.1137/100802001
[32] Peng，Z.，Yan，M.，Yin，W.：并行和分布式稀疏优化。摘自：IEEE信号系统和计算机Asilomar会议记录（2013年）·Zbl 0890.49015号
[33] Richtárik，P.，Takáć，M.：大数据优化的平行坐标下降方法。arXiv预印本arXiv:1212.0873（2012）·Zbl 1342.90102号
[34] Richtárik，P.，Takáć，M.：最小化复合函数的随机块坐标下降方法的迭代复杂性。数学。程序。144(1-2), 1-38 (2014) ·Zbl 1301.65051号 ·doi:10.1007/s10107-012-0614-z
[35] Scherrer，C.、Tewari，A.、Halappanavar，M.、Haglin，D.：加速平行坐标下降的特征聚类。高级神经信息处理。系统。1, 28-36 (2012)
[36] H.A.施瓦兹：Ueber einige abbildungsaufgaben。J.für die reine und angewandte数学。70, 105-120 (1869) ·JFM 02.0626.01号 ·doi:10.1515/crll.1869.70.105
[37] Shalev-Shwartz，S.，Tewari，A.：l1-正则化损失最小化的随机方法。J.马赫。学习。1865-1892年第12号决议（2011年）·兹比尔1280.62081
[38] Shevade，S.K.，Keerthi，S.S.：一种使用稀疏逻辑回归进行基因选择的简单高效算法。生物信息学19（17），2246-2253（2003）·doi:10.1093/生物信息系统/btg308
[39] 孙伟，袁永新：《优化理论与方法：非线性规划》，第1卷。施普林格，纽约（2006）·邮编1129.90002
[40] Tai，X.C.，Xu，J.：一些凸优化问题的子空间校正方法的全局一致收敛性。数学。计算。71（237）、105-124（2002）·Zbl 0985.65065号 ·doi:10.1090/S0025-5718-01-01311-4
[41] Tibshirani，R.：通过套索进行回归收缩和选择。J.R.统计社会服务。B（方法学）58，267-288（1996）·Zbl 0850.62538号
[42] Tseng，P.，Yun，S.：非光滑可分离最小化的坐标梯度下降法。数学。程序。117(1-2), 387-423 (2009) ·Zbl 1166.90016号 ·doi:10.1007/s10107-007-0170-0
[43] Wang，X.，Hong，M.，Ma，S.，Luo，Z.Q.：使用两块交替方向乘数法求解多块可分凸极小化问题。arXiv预印本arXiv:1308.5294（2013）·Zbl 1332.65080号
[44] Wen，Z.，Yin，W.，Zhang，H.，Goldfarb，D.：关于活动集方法的收敛性。最佳方案。方法软件。27(6), 1127-1146 (2012) ·Zbl 1244.49055号 ·doi:10.1080/10556788.2011.591398
[45] Zhang，H.，Jiang，J.，Luo，Z.Q.：关于一类非光滑凸极小化问题的近似梯度法的线性收敛性。《运营杂志》。中国研究社会1（2），163-186（2013）·Zbl 1334.90127号 ·文件编号：10.1007/s40305-013-0015-x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。