×

用于分布式优化的块分割。 (英语) Zbl 1305.90291号

摘要:本文描述了一种在分布式计算环境中求解凸优化问题的通用方法。特别是,如果问题数据包括大型线性运算符或矩阵(a),该方法允许在单独的机器上处理(a)的每个子块。该方法的工作原理如下。首先,我们定义了一个称为图形式的标准问题形式,其中我们有两组由线性算子(a)关联的变量,这样目标函数就可以在这两组变量之间分离。许多类型的问题很容易以图形形式表示,包括锥程序和各种统计中的正则化损失最小化问题,如逻辑回归、支持向量机和套索。接下来,我们描述了图投影分裂,它是Douglas-Rachford分裂的一种形式,或者是乘数的交替方向方法,用于连续地解决图形式问题。最后,我们推导了一种基于图投影分裂的分布式块分裂算法。在统计或机器学习环境中,这允许使用大量训练示例和功能精确地训练模型,这样每个处理器只处理这两者的子集。据我们所知,这是唯一具有此特性的通用方法。我们在串行和分布式设置中进行了几个数值实验。

MSC公司:

90C06型 数学规划中的大尺度问题
90C22型 半定规划
90C25型 凸面编程
90立方 非线性规划
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Boyd,S.、Parikh,N.、Chu,E.、Peleato,B.、Eckstein,J.:通过交替方向乘数法进行分布式优化和统计学习。已找到。趋势马赫数。学习。3(1), 1–122 (2011) ·Zbl 1229.90122号 ·doi:10.1561/220000016
[2] Luenberger,D.G.:向量空间方法优化。威利,纽约(1969年)·Zbl 0176.12701号
[3] Nesterov,Y.,Nemirovskii,A.:凸规划中的内点多项式方法。工业和应用数学学会(1994)·Zbl 0824.90112号
[4] Ben-Tal,A.,Nemirovski,A.:现代凸优化讲座:分析、算法和工程应用。工业和应用数学学会(2001)·Zbl 0986.90032号
[5] Boyd,S.,Vandenberghe,L.:凸优化。剑桥大学出版社,剑桥(2004)·Zbl 1058.90049号
[6] Wen,Z.,Goldfarb,D.,Yin,W.:半定规划的交替方向增广拉格朗日方法。数学。程序。计算。2(3), 203–230 (2010) ·Zbl 1206.90088号 ·doi:10.1007/s12532-010-0017-1
[7] Tibshirani,R.:通过套索进行回归收缩和选择。J.R.统计社会服务。B 58(1),267–288(1996)·Zbl 0850.62538号
[8] I.M.R.T.C.W.小组:调强放射治疗:现状和关注的问题。国际辐射杂志。昂科尔。生物物理。51(4), 880–914 (2001)
[9] 韦布,S.:强度调节放射治疗。泰勒(&T);弗朗西斯(2001)
[10] Moreau,J.J.:函数凸二元et点proximaux dans un espace Hilbertien。巴黎学院众议员。科学。序列号。A 255、2897–2899(1962)·Zbl 0118.10502号
[11] Parikh,N.,Boyd,S.:近似算法。已找到。趋势优化。1(3), 1–108 (2013). 要显示
[12] Eckstein,J.,Ferris,M.C.:单调仿射变分不等式的算子分裂方法,以及最优控制的并行应用。信息J.计算。10(2), 218–235 (1998) ·Zbl 1034.90531号 ·doi:10.1287/ijoc.10.2.218
[13] Yang,J.,Zhang,Y.:$$(反斜杠)反斜杠(反斜线)文本{ell}(反斜斜线)_1$$(反向斜线)ell_1的交替方向算法-压缩传感问题。SIAM J.科学。计算。33(1), 250–278 (2011) ·兹比尔1256.65060 ·数字对象标识码:10.1137/09077761
[14] Yuan,M.,Lin,Y.:分组变量回归中的模型选择和估计。J.R.统计社会服务。B(统计方法)68(1),49–67(2006)·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
[15] Ohlsson,H.,Ljung,L.,Boyd,S.:使用形式和正则化分割ARX模型。Automatica 46(6),1107–1111(2010)·Zbl 1191.93139号 ·doi:10.1016/j.automatica.2010.03.013
[16] Agarwal,A.,Chapelle,O.,Dudik,M.,Langford,J.:可靠有效的三级线性学习系统。arXiv:1110.4198(2011年)
[17] Grant,M.,Boyd,S.:CVX:规范凸规划的Matlab软件(2008)。http://cvxr.com/cvx
[18] Sturm,J.:使用SeDuMi 1.02,一个用于对称锥体优化的MATLAB工具箱。最佳方案。方法软件。11(1–4), 625–653 (1999) ·Zbl 0973.90526号 ·doi:10.1080/10556789908805766
[19] Toh,K.C.,Todd,M.J.,TüTüncü,R.H.:SDPT3:用于半定编程的MATLAB软件包,1.3版。最佳方案。方法软件。11(1–4), 545–581 (1999) ·Zbl 0997.90060号 ·doi:10.1080/10556789908805762
[20] CVX Research,I.:CVX:Matlab软件,用于严格的凸编程,2.0 beta版。http://cvxr.com/cvx/examples (2012). 示例库
[21] Whaley,R.C.,Dongarra,J.J.:自动调整线性代数软件。摘自:1998年ACM/IEEE超级计算会议记录(CDROM),第1-27页(1998)
[22] Vanderbei,R.J.:对称拟定矩阵。SIAM J.Optim公司。5(1), 100–113 (1995) ·Zbl 0822.65017 ·数字对象标识代码:10.1137/0805005
[23] Saunders,M.A.:基于Cholesky的稀疏最小二乘法:正则化的好处。摘自:Adams,L.,Nazareth,J.L.(编辑)《线性和非线性共轭梯度相关方法》,第92-100页。SIAM,费城(1996)·Zbl 0865.65022号
[24] Davis,T.A.:算法8xx:一个简洁的稀疏Cholesky因子分解包。ACM事务处理。数学。柔和。31(4), 587–591 (2005) ·兹比尔1136.65311 ·doi:10.1145/1114268.1114277
[25] Amestoy,P.,Davis,T.A.,Duff,I.S.:一种近似最小度排序算法。SIAM J.矩阵分析。申请。17(4),886-905(1996)·Zbl 0861.65021号 ·doi:10.1137/S0895479894278952
[26] Amestoy,P.,Davis,T.A.,Duff,I.S.:算法837:AMD,一种近似最小度排序算法。ACM事务处理。数学。柔和。30(3), 381–388 (2004) ·Zbl 1070.65534号 ·doi:10.1145/1024074.1024081
[27] Davis,T.A.:稀疏线性系统的直接方法。SIAM,费城(2006)·Zbl 1119.65021号
[28] Benzi,M.,Meyer,C.D.,Tuma,M.:共轭梯度方法的稀疏近似逆预处理器。SIAM J.科学。计算。17(5), 1135–1149 (1996) ·Zbl 0856.65019号 ·doi:10.1137/S1064827594271421
[29] Benzi,M.:大型线性系统的预处理技术:综述。J.计算。物理。182(2),418–477(2002)·Zbl 1015.65018号 ·doi:10.1006/jcph.2002.7176
[30] Golub,G.H.,Van Loan,C.:矩阵计算,第3卷。约翰·霍普金斯大学出版社,巴尔的摩(1996)·Zbl 0865.65009号
[31] Wilkinson,J.H.:代数过程中的舍入误差。多佛(1963)·Zbl 1041.65502号
[32] Moler,C.B.:浮点迭代求精。J.ACM 14(2),316-321(1967)·Zbl 0161.35501号 ·数字对象标识代码:10.1145/321386.321394
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。