×

用于分布式凸优化的惯性并行异步前向反向迭代。 (英语) Zbl 1422.49018号

概要:凸分解算法的两个吸引人的特点是操作简单和可并行结构的生成。原则上,这些方案要求所有坐标同时更新,即通过施工同步。在更新中引入异步性可以解决同步情况下出现的几个问题,如计算中的负载不平衡或通信链路故障。然而,据我们所知,还没有常见算法与惯性加速技术相结合的异步版本的实例。在这项工作中,我们提出了一种惯性异步并行定点迭代,从中产生了现有凸优化算法的几个新版本。偏离了坐标更新频率应符合某些先验分布的规范,我们提出了一种方案,其中唯一的要求是坐标在有界范围内更新间隔。我们证明了该方案生成的迭代序列以线性速率收敛。该方案的一个实例用于解决智能电网环境中的分布式优化负载共享问题,并说明了其相对于非加速版本的优越性。

MSC公司:

第49页第53页 集值与变分分析
49K99美元 最优条件
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Combettes,P.L.,Vũ,B.C.:变度量前向-后向分裂及其对对偶中单调包含的应用。优化63(9),1289-1318(2014)·Zbl 1309.90109号 ·doi:10.1080/02331934.2012.733883
[2] Alvarez,F.,Attouch,H.:通过带阻尼的非线性振子离散化来求解最大单调算子的惯性近似方法。设定值分析。9(1), 3-11 (2001) ·Zbl 0991.65056号 ·doi:10.1023/A:1011253113155
[3] Liu,J.,Wright,S.J.:异步随机坐标下降:并行性和收敛性。SIAM J.Optim公司。25(1), 351-376 (2015) ·Zbl 1358.90098号 ·数字对象标识代码:10.1137/140961134
[4] Peng,Z.,Xu,Y.,Yan,M.,Yin,W.:ARock:异步并行坐标更新的算法框架。SIAM J.科学。计算。38(5),A2851-A2879(2016)·Zbl 1350.49041号 ·doi:10.1137/15M1024950
[5] Bertsekas,D.P.,Tsitsiklis,J.N.:并行和分布式计算。新泽西州普伦蒂斯·霍尔公司(1989)·Zbl 0743.65107号
[6] Wright,S.J.:坐标下降算法。数学。程序。151(1), 3-34 (2015) ·Zbl 1317.49038号 ·doi:10.1007/s10107-015-0892-3
[7] Bauschke,H.,Combettes,P.:希尔伯特空间中的凸分析和单调算子理论。施普林格,纽约(2011)·Zbl 1218.47001号 ·doi:10.1007/978-1-4419-9467-7
[8] Ruy,E.,Boyd,S.:单调算子方法入门。申请。计算。数学。15(1), 3-43 (2016) ·Zbl 1342.47066号
[9] Polyak,B.:加速迭代方法收敛的一些方法。苏联计算。数学。数学。物理。4(5), 1-17 (1987) ·Zbl 0147.35301号 ·doi:10.1016/0041-5553(64)90137-5
[10] Ochs,P.,Brox,T.,Pock,T.:iPiasco:强凸优化的惯性近似算法。数学杂志。成像视觉。53(2), 171-181 (2015) ·Zbl 1327.90219号 ·doi:10.1007/s10851-015-0565-0
[11] Gurbuzbalaban,M.,Ozdaglar,A.,Parrilo,P.:关于增量聚合梯度算法的收敛速度。SIAM J.Optim公司。27(2), 1035-1048 (2017) ·Zbl 1366.90195号 ·doi:10.1137/15M1049695
[12] Polyak,B.:优化导论。最优化软件公司,出版部,纽约(1987)·Zbl 0708.90083号
[13] Ghadimi,E.,Feyzmahdavian,H.R.,Johansson,M.:凸优化重锤法的全局收敛性。摘自:2015年欧洲控制会议(ECC),第310-315页。IEEE(2015)
[14] Moudafi,A.,Olini,M.:单调算子的分裂惯性近端方法的收敛性。J.计算。申请。数学。155(2), 447-454 (2003) ·兹比尔1027.65077 ·doi:10.1016/S0377-0427(02)00906-8
[15] Krasnosel's kiĭ,A.:关于连续逼近方法的两点评论。Uspekhi Matematicheskikh Nauk乌斯佩基·马特马提切斯基10(1),123-127(1955)·Zbl 0064.12002号
[16] Mann,R.:迭代中的平均值方法。程序。美国数学。《社会学》4(3),506-510(1953)·Zbl 0050.11603号 ·doi:10.1090/S0002-9939-1953-0054846-3
[17] Liang,J.、Fadili,J.和Peyré,G.:不精确非泛算子的收敛速度。数学。程序。159, 1-32 (2014) ·Zbl 1353.47106号
[18] Alvarez,F.:希尔伯特空间中最大单调算子的松弛和惯性混合投影近点算法的弱收敛性。SIAM J.Optim公司。14(3), 773-782 (2004) ·Zbl 1079.90096号 ·doi:10.1137/S1052623403427859
[19] Maingé,P.E.:惯性KM型算法的收敛定理。J.计算。申请。数学。219(1), 223-236 (2008) ·Zbl 1156.65054号 ·doi:10.1016/j.cam.2007.07.021
[20] Iutzeler,F.,Hendrickx,M.J.:通过松弛和惯性加速优化算法的一般线性速率。arXiv预印arXiv:1603.05398v2(2016)·Zbl 1407.65062号
[21] Feyzmahdavian,H.R.,Aytekin,A.,Johansson,M.:具有线性收敛速度的延迟近端梯度法。摘自:IEEE信号处理机器学习国际研讨会(MLSP),第1-6页(2014年)
[22] Combettes,P.L.,Eckstein,J.:单调包含的异步块迭代原始-对偶分解方法。数学。程序。168, 645-672 (2016) ·Zbl 1514.47095号 ·doi:10.1007/s10107-016-1044-0
[23] Mishchenko,K.,Iutzeler,F.,Malick,J.:一种分布式柔性容错延迟近似梯度算法。arXiv预印arXiv:1806.09429(2018)·兹伯利06872632
[24] Raguet,H.,Fadili,J.,Peyré,G.:广义正向-反向分裂。SIAM J.成像科学。6(3), 1199-1226 (2013) ·Zbl 1296.47109号 ·doi:10.1137/120872802
[25] Raguet,H.,Landrieu,L.:广义正向-反向分裂的预处理及其在图优化中的应用。SIAM J.成像科学。8(4),2706-2739(2015)·Zbl 1338.47120号 ·doi:10.1137/15M1018253
[26] Briceno-Arias,L.M.:求解单调包含的前向Douglas-Rachford分裂和前部分逆方法。arXiv预印arXiv:1212.5942(2012)·Zbl 1310.47084号
[27] Davis,D.:前向Douglas-Rachford分裂方案的收敛速度分析。arXiv预印本arXiv:11410.2654(2015)·Zbl 1325.65081号
[28] Combettes,P.L.,Condat,L.,Pesquet,J.C.,Vũ,B.C.:图像恢复中一些原对偶优化方法的前后视图。摘自:IEEE图像处理国际会议,第4141-4145页(2014)
[29] Dunning,I.,Huchette,J.,Lubin,M.:跳跃:数学优化的建模语言。SIAM版本59(2),295-320(2017)·Zbl 1368.90002号 ·doi:10.1137/15M1020575
[30] Zou,H.,Hastie,T.:通过弹性网络的正则化和变量选择。J.R.统计社会服务。B 67301-320(2005)·Zbl 1069.62054号 ·文件编号:10.1111/j.1467-9868.2005.005.x
[31] Fabietti,L.、Gorecki,T.T.、Namor,E.、Sossan,F.、Paolone,M.、Jones,C.N.:通过电化学存储系统和需求侧管理调度有源配电网(2017)
[32] Gorecki,T.T.,Qureshi,F.A.,Jones,C.N.:Openbuild:建筑控制的集成仿真环境(2015)
[33] 瑞士电网:二级控制能力测试。https://www.swissgrid.ch/dam/swissgrid/customers/topics/ancillary-services/prequalification/4/D171130-Test-for-secondary-control-capability-V3R0-EN.pdf (2003)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。