×

线性系统的自适应草图Bregman投影方法。 (英语) Zbl 07525936号

摘要:素描与投影作为求解线性系统的一般原型算法,统一了各种随机迭代方法,如随机Kaczmarz和随机坐标下降法。然而,由于它的目标是从线性系统中找到一个最小范数解,因此不能包含随机稀疏Kaczmarz。这促使我们提出一个更通用的框架,称为草图Bregman投影(SBP)方法,在该方法中,我们能够从线性系统中找到具有特定结构的解。为了将自适应采样的概念推广到SBP方法中,我们展示了通过Bregman距离测量的单步进度如何直接依赖于草图损失函数。理论上,我们给出了不同自适应采样规则下SBP方法的详细全局收敛结果。最后,对于(稀疏)Kaczmarz方法,我们进行了一组数值模拟测试,验证了与使用其他采样规则的相应方法相比,使用采样Kaczmanz-Motzkin规则的方法实现给定误差范围所需的计算成本最少。

MSC公司:

65层10 线性系统的迭代数值方法
65千5 数值数学规划方法
90C25型 凸面编程
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Kaczmarz,S.,Angenäherte auflösung von systemen lenearer gleichungen,公牛。国际学术界。波兰。科学。莱特。A、 355-357(1937)·Zbl 0017.31703号
[2] 斯特罗默,T。;Vershynin,R.,《指数收敛的随机Kaczmarz算法》,J.Fourier Ana。申请。,15, 262 (2009) ·Zbl 1169.68052号 ·doi:10.1007/s00041-008-9030-4
[3] Schöpfer,F。;Lorenz,D.A.,随机稀疏Kaczmarz方法的线性收敛性,数学。程序。,173509-536(2019)·Zbl 1408.65038号 ·doi:10.1007/s10107-017-1229-1
[4] Lorenz,D.A。;温格,S。;Schöpfer,F。;Magnor,M.,在线压缩传感的稀疏Kaczmarz解算器和线性化Bregman方法,1347-1351(2014)
[5] 阿加斯卡,A。;王,C。;Lu,Y.M.,随机化Kaczmarz算法:精确均方误差分析和最佳采样概率,389-393(2014)
[6] 刘杰。;Wright,S.J.,《加速随机Kaczmarz算法》,数学。公司。,85, 153-178 (2015) ·Zbl 1327.65065号 ·doi:10.1090/com/2971
[7] Petra,S.,随机稀疏块Kaczmarz作为随机双块坐标下降,Anale Stint。阿尔大学奥维迪乌斯·康斯坦塔校区。材料,23,129-149(2015)·Zbl 1349.65194号 ·doi:10.1515/auom-2015-0052
[8] Bai,Z-Z;Wu,W-T,关于求解大型稀疏线性系统的松弛贪婪随机Kaczmarz方法,应用。数学。莱特。,83, 21-26 (2018) ·Zbl 1524.65191号 ·doi:10.1016/j.aml.2018.03.008
[9] 波帕,C。;Preclik,T。;H·Köstler。;Rüde,U.,《关于Kaczmarz投影迭代作为线性最小二乘问题的直接求解器》,《线性代数》。申请。,436, 389-404 (2012) ·Zbl 1238.65031号 ·doi:10.1016/j.laa.2011.02.017
[10] Needell,D。;Tropp,J.A.,《善意铺垫:随机区组Kaczmarz方法分析》,线性代数。申请。,441, 199-221 (2014) ·Zbl 1282.65042号 ·doi:10.1016/j.laa.2012.12.022
[11] Leventhal,D。;Lewis,A.S.,线性约束的随机方法:收敛速度和条件,数学。操作。决议,35,641-654(2010)·Zbl 1216.15006号 ·doi:10.1287/摩尔.1100.0456
[12] 哈多克,J。;Ma,A.,Greed工作:对采样的改进分析,Kaczmarz-Motzkin,SIAM J.Math。数据科学。,3, 342-368 (2021) ·Zbl 07368791号 ·doi:10.1137/19m1307044
[13] Bai,Z。;Wu,W.,关于求解大型稀疏线性系统的贪婪随机Kaczmarz方法,SIAM J.Sci。计算。,40,A592-A606(2018)·Zbl 1383.65024号 ·数字对象标识代码:10.1137/17m1137747
[14] 龙,H。;Han,B。;Tong,S.,非线性不适定问题的新Kaczmarz型方法及其加速,反问题,35(2019)·Zbl 1431.65079号 ·doi:10.1088/1361-6420/ab0b21
[15] 唐,S。;Han,B。;Tang,J.,非线性不适定问题的投影平均Kaczmarz迭代,反问题,36(2020)·Zbl 1451.65068号 ·doi:10.1088/1361-6420/aba5ef
[16] Bauschke,H.H。;Borwein,J.M.,Legendre函数和随机Bregman投影方法,J.凸分析。,4, 27-67 (1997) ·Zbl 0894.49019号
[17] Gower,R.M。;Richtárik,P.,线性系统的随机迭代方法,SIAM J.矩阵分析。申请。,36, 1660-1690 (2015) ·Zbl 1342.65110号 ·doi:10.1137/15m1025487
[18] 高尔,R.M。;莫利托,D。;摩尔曼,J。;Needell,D.,《关于求解线性系统的自适应草图和项目》,SIAM J.Matrix Ana。申请。,42, 954-989 (2021) ·Zbl 07365306号 ·doi:10.1137/19m1285846
[19] Nutini,J。;Sepehry,B。;拉拉吉,I。;施密特,M。;Koepke,H。;Virani,A.,贪婪Kaczmarz算法的收敛速度,以及使用正交图的更快的随机Kaczmarz规则,47-556(2016)
[20] 袁,Z。;张,H。;Wang,H.,线性收敛的稀疏采样Kaczmarz-Motzkin方法,数学。方法应用。科学。,45, 3463-3478 (2022) ·Zbl 1527.65024号 ·doi:10.1002/月7990日
[21] 鲍施克,H.H。;Combettes,P.L.,希尔伯特空间中的凸分析和单调算子理论(2017),柏林:施普林格出版社,柏林·Zbl 1359.26003号
[22] 里奇塔里克,P。;Takáć,M.,《线性系统的随机重新组合:算法和收敛理论》,SIAM J.矩阵分析。申请。,41, 487-524 (2020) ·Zbl 1440.65045号 ·数字对象标识代码:10.1137/18m1179249
[23] Frank,S.,限制强凸函数无约束极小化下降法的线性收敛性,SIAM J.Optim。,26, 1883-1911 (2016) ·Zbl 1348.65094号 ·doi:10.1137/140992990
[24] 格里贝尔,M。;Oswald,P.,乘法Schwarz方法的贪婪和随机版本,线性代数。申请。,437, 1596-1610 (2012) ·Zbl 1251.65048号 ·doi:10.1016/j.laa.2012.04.052
[25] Hansen,P.C。;Jörgensen,J.S.,《气动工具:II》。代数迭代重建方法,改进的实现,Numer。算法,79,107-137(2018)·Zbl 1397.65007号 ·doi:10.1007/s11075-017-0430-x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。