×

用于求解基于树的分布式方程组的Kaczmarz算法。 (英语) Zbl 07451980号

Hirn,Matthew(编辑)等人,《谐波分析中的偏移》。第6卷。为了纪念约翰·贝内代托的80岁生日。查姆:Birkhäuser。申请。数字。哈蒙。分析。,385-411 (2021).
摘要:Kaczmarz算法是一种求解线性方程组的迭代方法。我们引入了一种改进的Kaczmarz算法来求解分布式环境中的线性方程组,即系统中的方程分布在网络中的多个节点上。我们引入的修改是针对一个树形结构的网络设计的,该网络允许在网络中的节点之间传递解估计。我们证明了修改后的算法在没有附加假设的情况下收敛。我们证明了当系统一致时,该算法收敛于最小范数的解。我们还证明了在不一致方程组的情况下,当松弛参数接近0时,改进的松弛Kaczmarz算法收敛到加权最小二乘解。
关于整个系列,请参见[Zbl 1470.42002年].

MSC公司:

65-XX岁 数值分析
93至XX 系统理论;控制
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Kaczmarz,S.:Angenäherte Auflösung von Systemen linearer Gleichungen,《国际科学通报》。数学与自然科学类。Série A,《数学科学》(1937),355-357。
[2] Necoara,I.、Nesterov,Y.和Glineur,F.:网络线性约束优化的随机块坐标下降方法,J.Optim。理论应用。173(2017),第1期,227-254·Zbl 1370.90145号 ·doi:10.1007/s10957-016-1058-z
[3] Bertsekas,D.P.和Tsitsiklis,J.N.:《并行和分布式计算:数值方法》,Athena Scientific,Nashua,NH,1997年,最初由Prentice-Hall于1989年出版;可从免费下载http://hdl.handle.net/1721.1/3719。 ·Zbl 1325.65001号
[4] Boyd,S.、Parikh,N.、Chu,E.、Peleato,B.、Eckstein,J.等人:《通过乘数交替方向方法进行分布式优化和统计学习》,机器学习3(2011),第1期,第1-122页·Zbl 1229.90122号
[5] Censor,Y.、Gordon,D.和Gordon(R.):组件平均:大型稀疏非结构化问题的高效迭代并行算法,并行计算。27(2001),第6期,777-808·Zbl 0972.68189号 ·doi:10.1016/S0167-8191(00)00100-9
[6] Chen,X.:《Kaczmarz算法、行操作方法和统计学习算法》,《框架与谐波分析》,康特姆出版社。数学。,第706卷,美国。数学。Soc.,普罗维登斯,RI,2018年,第115-127页·Zbl 1401.65032号
[7] Chi,Y.和Lu,Y.M.:求解二次方程的Kaczmarz方法,IEEE Signal Processing Letters 23(2016),第9期,1183-1187·doi:10.1109/LSP.2016.2590468
[8] Cimmino,G.:《Calcolo approssimato per soluzioni dei sistemi di equazioni lineari》,《科学杂志》第十六卷第二辑,《Anno IX》第1期(1938年),第326-333页·Zbl 0018.41802号
[9] Eggermont,P.P.B.,Herman,G.T.和Lent,A.:大型分区线性系统的迭代算法,及其在图像重建中的应用,线性算法。申请。40 (1981), 37-67. ·Zbl 0466.65021号
[10] Gordon,R.、Bender,R.和Herman,G.:用于三维电子显微镜和x射线摄影的代数重建技术(ART),《理论生物学杂志》29(1970),第3471-481期·doi:10.1016/0022-5193(70)90109-8
[11] Gower,R.M.和Richtárik,P.:线性系统的随机迭代方法,SIAM J.矩阵分析。申请。36(2015),第4期,1660-1690·Zbl 1342.65110号 ·doi:10.1137/15M1025487
[12] Haddock,J.和Needell,D.:腐蚀线性系统的随机预测,AIP会议记录,1978年,AIP出版社,2018年,第470071页·Zbl 1436.65031号
[13] Hamaker,C.和Solmon,D.C.:X射线零空间之间的角度,《数学分析与应用杂志》62(1978),第1期,第1-23页·Zbl 0437.45025号 ·doi:10.1016/0022-247X(78)90214-7
[14] Hansen,P.C.:《离散逆问题》,《算法基础》,第7卷,工业与应用数学学会(SIAM),宾夕法尼亚州费城,2010年,《洞察力与算法》·Zbl 1197.65054号
[15] Herman,G.T.、Lent,A.和Hurwitz,H.:一种用于寻找大型不一致方程组正则化解的高效存储算法,J.Inst.Math。申请。25(1980),第4期,361-366·兹比尔0441.65033 ·doi:10.1093/imamat/25.4.361
[16] Herman,G.T.、Hurwitz,H.、Lent,A.和Lung,H.P.:关于图像重建的贝叶斯方法,Inform。和Control 42(1979),第1期,60-71·Zbl 0405.94011号 ·doi:10.1016/S0019-9958(79)90160-8
[17] Johansson,B.、Rabi,M.和Johansso,M.:网络系统分布式优化的随机增量次梯度方法,SIAM优化杂志20(2009),第3期,1157-1170·Zbl 1201.65100号 ·数字对象标识码:10.1137/08073038X
[18] Kamath,G.、Ramanan,P.和Song,W.-Z.:分布式随机Kaczmarz及其在传感器网络地震成像中的应用,2015年传感器系统分布式计算国际会议,2015年6月,第169-178页。
[19] Kwapien,S.和Mycielski,J.:emph关于无限维空间中近似的Kaczmarz算法,Studia Math。148(2001),第1期,75-86·Zbl 0987.41020号
[20] Liu,J.、Wright,S.J.和Sridhar,S.:异步并行随机Kaczmarz算法,arXiv预印本arXiv:1401.4780(2014)。
[21] Loizou,N.和Richtárik,P.:重温随机八卦算法:一般框架、收敛速度和新型块和加速协议,arXiv:1905.086452019。
[22] Natterer,F.:计算机断层扫描的数学,特乌布纳,斯图加特,1986年·Zbl 0617.92001号 ·doi:10.1007/978-3-663-01409-6
[23] Necoara,I.、Nesterov,Y.和Glineur,F.:非强凸优化一阶方法的线性收敛,数学。程序。175(2019),编号1-2,序列号。A、 69-107年·Zbl 1412.90111号
[24] Necoara,I.:更快的随机块Kaczmarz算法,arXiv:1902.099462019·Zbl 1453.65074号
[25] Nedic,A.和Ozdaglar,AS:多智能体优化的分布式次梯度方法,IEEE自动控制汇刊54(2009),第1期,第48页·Zbl 1367.90086号
[26] Needell,D.、Srebro,N.和Ward,R.:随机梯度下降、加权采样和随机Kaczmarz算法,数学。程序。155(2016),第1-2号,Ser。A、 549-573年·Zbl 1333.65070号
[27] Needell,D.和Tropp,J.A.:善意铺垫:随机区组Kaczmarz方法分析,线性代数应用。441 (2014), 199-221. ·Zbl 1282.65042号 ·doi:10.1016/j.laa.2012.12.022
[28] Needell,D.、Zhao,R.和Zouzias,A.:求解最小二乘的随机块Kaczmarz方法,线性代数应用。484 (2015), 322-343. ·Zbl 1330.65056号 ·doi:10.1016/j.laa.2015.06.027
[29] Sayed,A.H.:《网络上的适应、学习和优化》,《机器学习的基础和趋势》7(2014),第4-5期,第311-801页·Zbl 1315.68212号
[30] Scaman,K.、Bach,F.、Bubeck,S.、Massoulié,L.和Lee,Y.T.:网络中非光滑分布式优化的优化算法,神经信息处理系统进展,2018年,第2740-2749页。
[31] Shah,D.:Gossip algorithms,Foundations and Trends®in Networking 3(2008),第1期,1-125页·Zbl 1185.68072号
[32] Strohmer,T.和Vershynin,R.:指数收敛的随机Kaczmarz算法,《傅里叶分析与应用杂志》15(2009),第2期,262-278·Zbl 1169.68052号 ·doi:10.1007/s00041-008-9030-4
[33] Tanabe,K.:求解奇异线性方程组的投影方法及其应用,Numer。数学。17 (1971), 203-214. ·Zbl 0228.65032号 ·doi:10.1007/BF01436376
[34] Tsitsiklis,J.、Bertsekas,D.和Athans,M.:分布式异步确定性和随机梯度优化算法,IEEE自动控制汇刊31(1986),第9期,803-812·Zbl 0602.90120号 ·doi:10.1109/TAC.1986.1104412
[35] 韦斯特,D.B.:《图论导论》,普伦蒂斯·霍尔公司,新泽西州上鞍河,1996年·Zbl 0845.05001号
[36] Xiao,L.、Boyd,S.和Kim,S.J.:具有最小均方偏差的分布式平均共识,《并行与分布式计算杂志》67(2007),第1期,33-46·Zbl 1109.68019号 ·doi:10.1016/j.jpdc.2006.08.010
[37] 袁凯、凌奇、尹伟:关于分散梯度下降的收敛性,《SIAM优化杂志》26(2016),第3期,1835-1854·Zbl 1345.90068号 ·数字对象标识代码:10.1137/130943170
[38] Zhang,X.,Liu,J.,Zhu,and Bentley,E.S.:压缩分布式梯度下降:网络上的通信效率共识,2018,arxiv.org/pdf/1812.04048。
[39] Yosida,K.:功能分析,第二版。Die Grundlehren der mathematischen Wissenschaften,乐队123,Springer-Verlag New York Inc.,纽约,1968年。
[40] Zouzias,A.和Freris,N.M.:求解最小二乘的随机扩展Kaczmarz,SIAM J.矩阵分析。申请。34(2013),第2期,773-793·Zbl 1273.65053号 ·数字对象标识代码:10.1137/120889897
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。