×

兹马思-数学第一资源

安德森加速了道格拉斯·拉赫福德的分裂。(英语) Zbl公司 1458.90511
摘要:我们考虑了具有线性等式约束的非光滑凸优化问题,其中目标函数只能通过其最近点算子访问。这个问题出现在许多不同的领域,如统计学习、计算成像、通信和最优控制。为了解决这个问题,我们提出了一个Anderson加速的Douglas-Rachford分裂(A2DR)算法,该算法在非常温和的条件下要么全局收敛,要么提供不可行/无界证明。应用于块可分离目标,A2DR部分解耦,使其步骤可以并行执行,从而产生一种快速且可扩展到多个处理器的算法。我们描述了一个开源实现,并在大量示例中展示了它的性能。
审核人: 评审员(柏林)
理学硕士:
C2905型 凸规划
90C53型 拟牛顿型方法
49J52型 非光滑分析
6505公里 数值数学规划方法
68宽10 计算机科学中的并行算法
68度15度 分布式算法
97N80型 数学软件,计算机程序(教育方面)
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] M。阿布拉莫维茨和我。A。Stegun,《带公式、图表和数学表格的数学函数手册》,美国国家标准局,华盛顿特区,1964年·Zbl公司 171.38503
[2] A。阿格拉瓦尔,R。维斯丘伦,S。钻石和S。Boyd,凸优化问题的重写系统,J。《控制决策》,5(2018年),第42-60页。
[3] A。C。艾特肯,论伯努利代数方程的数值解法。罗伊。Soc。爱丁堡,46(1927),第289-305页·JFM公司 52.0098.05
[4] A。阿里,E。黄和J。Z。Kolter,《快速通用凸规划的半光滑牛顿方法》,载于《国际机器学习会议论文集》,2017年,第70-79页。
[5] D。G。张国强,非线性积分方程的迭代程序,J。联合计算机。《马赫》,12(1965),第547-560页·Zbl公司 149.11503
[6] N。美国。艾伯特,Z。王,T。林和S。Ma,复合凸一致优化的分布线性化交替方向乘子法,IEEE Trans。自动装置。对照组,63(2018年),第5-20页·Zbl公司 1390.90420
[7] F。巴赫,加速无痛苦,https://francisbach.com/acceleration-without-pain2020年2月4日。
[8] O。班纳吉,L。E。盖伊和A。张志明,多元高斯或二元数据稀疏极大似然估计模型选择,J。机器。学习。第9号决议(2008年),第485-516页·Zbl公司 1225.68149
[9] P。班索德,K。C。Kosaraju,S。R。瓦格,R。帕苏马蒂和N。M。Singh,使用自适应同步的加速分布式原始-对偶动力学,IEEE Access,7(2019),第120424-120440页。
[10] 美国。博伊德。帕里克,E。朱伯伦。佩雷托和J。Eckstein,通过乘法器交替方向方法的分布式优化和统计学习,发现。趋势马赫。学习,3(2011),第1-122页·Zbl公司 1229.90122
[11] 美国。博伊德和我。范登伯格,凸优化,剑桥大学出版社,2004·Zbl公司 1058.90049
[12] C。布雷津斯基,M。雷迪沃·扎格利亚和Y。Saad,Shanks序列变换和Anderson加速度,暹罗版本,60(2018),第646-669页,https://doi.org/10.1137/17M1120725。·Zbl公司 1395.65001
[13] 十。陈和C。T。凯利,非线性方程EDIS算法的收敛性,暹罗J。科学。Comput.,41(2019年),第A365-A379页,https://doi.org/10.1137/18M1171084。·Zbl公司 1408.65030
[14] A。Defazio,一种简单实用的有限和加速方法,载于《第30届神经信息处理系统国际会议论文集》,2016年,第676-684页。
[15] 美国。钻石和S。一种用于凸优化的Python嵌入式建模语言。机器。学习。第17号决议(2016年),第1-5页·Zbl公司 1360.90008
[16] C。埃文斯,S。波洛克,L。G。雷布霍兹和M。Xiao,Anderson加速度增加了线性收敛不动点方法(但不是二次收敛方法)的收敛速度的证明,预印本,https://arxiv.org/abs/1810.084552018年·Zbl公司 1433.65102
[17] H。方和Y。非线性加速度的两类多角方法。《线性代数应用》,16(2009),第197-221页·Zbl公司 1224.65134
[18] C。福格纳和S。张志明,图格式解算器之参数选择与预处理,控制与系统理论之新兴应用,R。节奏,S。尤尔科维奇和P。Misra,编辑,Lect。控制信息科学。《史普林格,查姆》,第41-61页·Zbl公司 1407.93126
[19] J。弗里德曼,T。黑斯提和R。Tibshirani,用图形套索进行稀疏逆协方差估计,生物统计学,9(2008),第432-441页·Zbl公司 1143.62076
[20] J。弗里德曼,T。黑斯提和R。Tibshirani,关于群套索和稀疏群套索的说明,预印本,https://arxiv.org/abs/1001.07362010年。
[21] B。美国。他,H。杨和S。L。王,单调变分不等式自适应罚参数交替方向法,J。擎天柱。理论应用,106(2000),第337-356页·Zbl公司 997.49008
[22] H。他和D。韩,多块凸极小化问题的分布式Douglas-Rachford分裂法,高级计算机。Math.,42(2016),第27-53页·Zbl公司 1332.90198
[23] S、 ——J。金,K。Koh,S。博伊德和D。Gorinevsky,\(\ellu 1\)趋势过滤,暹罗版本,51(2009),第339-360页,https://doi.org/10.1137/070690274。
[24] K。N。库丁和G。E。黑箱自洽场收敛算法:一步更近,J。化学。Phys.,116(2002),第8255-8261页。
[25] Z。李和J。李,非线性优化的安德森-切比雪夫混合方法,预印本,网址:arxiv.org/2018年。
[26] 是的。刘娥。K。柳和W。尹,道格拉斯·拉赫福德分裂的新用途,用于识别不可行、无界和病态的圆锥曲线程序,数学。计划,177(2019年),第225-253页·Zbl公司 07089030
[27] J。洛菲尔和C。美国。伍德沃德,《在分布式内存和基于GPU的并行计算机上实施和使用安德森加速度的考虑》,数学科学进展,Springer,Cham,2016,第417-436页·Zbl公司 1353.65045
[28] A。J。麦克劳德,用多维方法加速向量序列。申请。数字。方法,2(1986),第385-392页·Zbl公司 608.65003
[29] 五。五。麦和M。Johansson,《约束优化算法的非线性加速》,《IEEE声学、语音和信号处理国际会议论文集》,2019年,第4903-4907页。
[30] M。人工编码站̌ina,方程组(X=AX+f)迭代解的收敛加速,计算。方法应用。机械。《工程学》,第10卷(1977年),第165-173页·Zbl公司 344.65019
[31] A。米尔扎勒克,X。肖小S。岑,Z。文和M。非光滑非凸优化问题的随机半光滑牛顿法。Optim.,29(2019年),第2916-2948页,https://doi.org/10.1137/18M1181249。·Zbl公司 1434.90108
[32] N。莫勒,E。布塞蒂,S。博伊德和M。动态能源管理,供应链与智能制造大规模优化,J。M。贝拉́斯奎斯伯姆́迪兹,M。哈基菲鲁兹和M。Fathi,编辑,Springer Optim。申请。149,斯普林格,查姆,2019年,第69-126页·Zbl公司 1446.90158
[33] 是的。Nesterov,《凸优化导论:基础课程》,Kluwer学术出版社,波士顿,2004年·Zbl公司 1086.90045
[34] J。Nocedal和S。赖特,数值优化,斯普林格,纽约,2006·Zbl公司 1104.65059
[35] B。奥多诺霍,E。朱,N。帕里克和S。李建明,二次曲线优化的算子分裂和齐次自对偶嵌入,J。擎天柱。理论应用,169(2016),第1042-1068页·Zbl公司 1342.90136
[36] B。奥多诺霍,E。朱,N。帕里克和S。Boyd,SCS:分裂圆锥曲线解算器,2.1.2版。https://github.com/cvxgrp/scs2019年11月。
[37] C。C。佩奇和M。A。Saunders,LSQR:稀疏线性方程和稀疏最小二乘法的算法,ACM Trans。数学。Softw.,8(1982年),第43-71页·Zbl公司 478.65016
[38] N。帕里克和S。博伊德,分布式优化的块分割,数学。程序。Comput.,6(2014),第77-102页·Zbl公司 1305.90291
[39] N。帕里克和S。博伊德,最近算法,发现。Trends Optim.,1(2014),第127-239页。
[40] 是的。彭,B。邓,J。张,F。耿伟。秦和我。刘,安德森几何优化与物理模拟加速,计算机科学与工程学报。图表,37(2018),42。
[41] 美国。波洛克和L。Rebholz,收缩和非收缩算子的安德森加速度,预印本,https://arxiv.org/abs/1909.046382019年。
[42] T。罗威德和R。施耐德,量子化学计算中的DIIS加速方法分析,J。数学。《化学》第49-1914页,2011年·Zbl公司 1252.81135
[43] E。K。柳和S。Boyd,单调算子方法入门,Appl。计算机。数学,15(2016),第3-43页·Zbl公司 1342.47066
[44] E。K。柳,Y。刘和W。Yin,Douglas-Rachford分裂和ADMM用于病理凸优化,计算机。擎天柱。申请书,74(2019年),第747-778页·Zbl公司 1427.90223
[45] D。希厄,F。巴赫和A。d'Aspremont,《随机算法的非线性加速》,神经信息处理系统进展,Curran Associates,Red Hook,NY,2017,第3982-3991页。
[46] D。希厄,A。d'Aspremont和F。巴赫,正则化非线性加速,第30届神经信息处理系统国际会议论文集,2016年,第712-720页。
[47] D。尚克斯,发散和慢收敛序列的非线性变换,J。数学。和Phys.,34(1955),第1-42页·Zbl公司 67.28602
[48] D。A。史密斯,W。F。福特和A。Sidi,《向量序列的外推方法》,暹罗出版社,29(1987),199-233页,https://doi.org/10.1137/1029042。·Zbl公司 622.65003
[49] P。索帕萨基斯,K。梅努努和P。Patrinos,Superss:快速准确的大尺度圆锥曲线优化,欧洲控制会议论文集,2019年,第1500-1505页。
[50] B。斯特拉托,G。Banjac,P。古拉特,A。贝莫拉德和S。Boyd,OSQP:二次规划的算子分裂解算器,载《UKACC国际控制会议论文集》,2018年,p。339
[51] A。泰米利斯和P。Patrinos,SuperMann:寻找非扩张算子不动点的超线性收敛算法,IEEE Trans。自动装置。对照组,64(2019年),第4875-4890页·Zbl公司 07158568
[52] A。托斯,J。A。埃利斯,T。埃文斯,S。汉密尔顿,C。T。凯利,R。波洛夫斯基和S。Slattery,Anderson加速度与不精确函数估计的局部改进结果,SIAM J。科学。Comput.,39(2017),第S47-S65页,https://doi.org/10.1137/16M1080677。·Zbl公司 1422.65079
[53] A。托斯和C。T。凯利,安德森加速度的收敛性分析,暹罗J。数字。《分析》,53(2015),第805-819页,https://doi.org/10.1137/130919398。·Zbl公司 1312.65083
[54] J。塔克,S。巴雷特和S。Boyd,拟合拉普拉斯正则化分层模型的分布式方法,预印本,https://arxiv.org/abs/1904.120172019年。
[55] H。F。沃克和P。倪,固定点迭代的安德森加速度,暹罗J。数字。《分析》,49(2011年),第1715-1735页,https://doi.org/10.1137/10078356X。·Zbl公司 1254.65067
[56] E。魏和A。Ozdaglar,分布式交替方向乘法器法,IEEE决策与控制会议论文集,2012,第5445-5450页。
[57] P。韦恩,在一个计算\(eum(S_n)\)变换的设备上,数学。《比较》,第10卷(1956年),第91-96页·Zbl公司 74.04601
[58] M。怀托克,P.-W。王和J。Z。Kolter,具有快速近端和线性算子的凸规划,预印本,https://arxiv.org/abs/1511.04815,2015年。
[59] 十。肖,Y。李,Z。文和我。张,复合凸规划的带投影步长的正则化半光滑牛顿法,J。科学。Comput.,76(2018年),第364-389页·Zbl公司 1394.90534
[60] Z。徐G。泰勒,H。李,M。菲格雷多,X。元,T。Goldstein,《分布式优化的自适应共识ADMM》,载《国际机器学习会议论文集》,2017年,第3841-3850页。
[61] J。张,B。O'Donoghue和S。Boyd,非光滑不动点迭代的全局收敛I型Anderson加速度,预印本,https://arxiv.org/abs/1808.039712018年。
[62] J。张,Y。彭,W。欧阳和B。邓,加速ADMM的高效模拟与优化,ACM Trans。图表,38(2019年),163。
[63] J。张,C。A。乌里韦,A。莫赫塔里和A。Jadbabaie,通过重球ODE的直接离散化实现分布式优化的加速,在美国控制会议论文集,2019年,第3408-3413页。
[64] 是的。张和M。M。Zavlanos,一种基于共识的分布式增广拉格朗日方法,发表于《IEEE决策与控制会议论文集》,2018年,第1763-1768页。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。