×
曾、云;韩德仁;苏燕生;谢佳欣

不一致线性系统的自适应步长随机化Kaczmarz方法。 （英语） Zbl 1525.65027号

数字。算法 94，第3期，1403-1420（2023）.
摘要：我们研究了随机Kaczmarz方法，该方法使用现成的信息自适应地更新步长，以解决不一致线性系统。给出了一种新的几何解释，表明该方法在某种意义上可以被视为正交投影方法。我们证明了该方法预期线性收敛到线性系统唯一的最小欧氏范数最小二乘解，并为该方法的收敛性提供了一个紧上界。文中还给出了数值实验来说明理论结果。

引用于2文件

MSC公司：

65层10 线性系统的迭代数值方法
65层20 超定系统伪逆的数值解
90C25型 凸面编程
15A06号 线性方程组（线性代数方面）
68瓦20 随机算法

关键词：

线性方程组;不一致;喀茨马茨;自适应步长;最小欧氏范数最小二乘解

软件：

稀疏矩阵;SuiteSparse系列
PDF格式BibTeX公司 XML格式引用
\textit{Y.Zeng}等人，数字。算法94，No.3，1403-1420（2023；Zbl 1525.65027）
全文： 内政部 arXiv公司

参考文献：

[1] Byrne，C.，《信号处理和图像重建中一些迭代算法的统一处理》，《反问题》，20，1，103-120（2003）·Zbl 1051.65067号 ·doi:10.1088/0266-5611/20/1/006
[2] Patrascu，A。；Necoara，I.，约束凸优化随机近点方法的非渐近收敛性，J.Mach。学习。第18号、第1号、第7204-7245号决议（2017年）·Zbl 1475.90048号
[3] Chang，K-W；谢家杰；Lin，C-J，大型l2-损失线性支持向量机的坐标下降法，J.Mach。学习。第9、7、1369-1398号决议（2008年）·Zbl 1225.68157号
[4] 奥尔山斯基，爱沙尼亚州；Tirtyshnikov，MA，《线性系统的迭代方法：理论与应用》（2014），宾夕法尼亚州费城：SIAM，宾夕法尼亚州，费城·Zbl 1320.65050号 ·doi:10.1137/1.9781611973464
[5] Karczmarz，S.：Angenäherte auflösung von线性化系统。牛市。国际学术界。波兰。四川省。让。，Cl.科学。数学。《Nat.355-357》（1937年）
[6] 赫曼，GT；Meyer，LB，代数重建技术可实现高效计算（正电子发射层析成像应用），IEEE Trans。医学影像学，12，3600至609（1993）·doi:10.1109/42.241889
[7] 戈登，R。；Bender，R。；Herman，GT，三维电子显微镜和X射线摄影代数重建技术（ART），J.Theor。《生物学》，29，3，471-481（1970）·doi:10.1016/0022-5193（70）90109-8
[8] Natterer，F.：计算机断层成像的数学。SIAM（2001）·兹伯利0973.92020
[9] Feichtinger，H.G.，Cenker，C.，Mayer，M.，Steier，H.，Strohmer，T.：POCS方法的新变体，使用有限余维仿射子空间，应用于不规则采样。收录于：《视觉通信和图像处理》92年，第1818卷，第299-310页（1992年）。SPIE公司
[10] 斯特罗默，T。；Vershynin，R.，《指数收敛的随机Kaczmarz算法》，J.Fourier Ana。申请。，15, 2, 262-278 (2009) ·Zbl 1169.68052号 ·doi:10.1007/s00041-008-9030-4
[11] 刘杰。；Wright，S.，《加速随机Kaczmarz算法》，数学。公司。，85, 297, 153-178 (2016) ·Zbl 1327.65065号 ·doi:10.1090/com/2971
[12] Han，D.，Xie，J.：关于线性系统的无伪逆随机方法：统一框架和加速。预打印时间http://arxiv.org/abs/2208.05437 (2022)
[13] Loizou，N。；Richtárik，P.，随机梯度的动量和随机动量，牛顿，近点和子空间下降方法，计算。最佳方案。申请。，77, 3, 653-710 (2020) ·Zbl 1466.90065号 ·doi:10.1007/s10589-020-00220-z
[14] Necoara，I.：更快的随机块Kaczmarz算法。SIAM J.矩阵分析。申请。40(4), 1425-1452 (2019) ·Zbl 1453.65074号
[15] Needell，D。；Tropp，JA，《善意铺设：随机分组kaczmarz方法的分析》，线性代数应用。，441, 199-221 (2014) ·Zbl 1282.65042号 ·doi:10.1016/j.laa.2012.12.022
[16] Moorman，JD；Tu、TK；莫利托，D。；Needell，D.，随机Kaczmarz与平均值，BIT.，61，1337-359（2021）·Zbl 1460.15005号 ·doi:10.1007/s10543-020-00824-1
[17] Gower，RM；Richtárik，P.，线性系统的随机迭代方法，SIAM J.矩阵分析。申请。，36, 4, 1660-1690 (2015) ·Zbl 1342.65110号 ·doi:10.1137/15M1025487
[18] Bai，Z-Z；Wu，W-T，关于求解大型稀疏线性系统的贪婪随机Kaczmarz方法，SIAM J.Sci。计算。，40, 1, 592-606 (2018) ·Zbl 1383.65024号 ·doi:10.1137/17M1137747
[19] Gower，RM；莫利托，D。；摩尔曼，J。；Needell，D.，《关于求解线性系统的自适应草图和项目》，SIAM J.Matrix Ana。申请。，42, 2, 954-989 (2021) ·Zbl 07365306号 ·doi:10.1137/19M1285846
[20] Schöpfer，F。；Lorenz，DA，随机稀疏Kaczmarz方法的线性收敛性，数学。程序。，173, 1, 509-536 (2019) ·Zbl 1408.65038号 ·doi:10.1007/s10107-017-1229-1
[21] 陈，X。；秦，J.，张量恢复的正则化Kaczmarz算法，SIAM J.成像科学。，14, 4, 1439-1471 (2021) ·Zbl 1524.65129号 ·doi:10.1137/21M1398562
[22] Needell，D.，《含噪线性系统的随机Kaczmarz解算器》，BIT.，50，2395-403（2010）·Zbl 1195.65038号 ·doi:10.1007/s10543-010-0265-5
[23] Bai，Z-Z；Wu，W-T，关于求解大型稀疏不一致线性系统的贪婪随机增广Kaczmarz方法，SIAM J.Sci。计算。，43, 6, 3892-3911 (2021) ·Zbl 1483.65065号 ·数字对象标识代码：10.1137/20M1352235
[24] Censor，Y。；爱格蒙特，PP；Gordon，D.，《不一致系统的Kaczmarz方法中的强欠松弛》，Numer。数学。，41, 1, 83-92 (1983) ·Zbl 0489.65023号 ·doi:10.1007/BF01396307
[25] 汉克，M。；Niethammer，W.，《关于不一致线性系统的Kaczmarz方法的加速》，《线性代数应用》。，130, 83-98 (1990) ·Zbl 0708.65033号 ·doi:10.1016/0024-3795（90）90207-S
[26] Zouzias，A。；Freris，NM，求解最小二乘的随机扩展Kaczmarz，SIAM J.矩阵分析。申请。，34, 2, 773-793 (2013) ·Zbl 1273.65053号 ·数字对象标识代码：10.1137/120889897
[27] Du，K.，随机扩展Kaczmarz和Gauss-Seidel算法收敛的紧上界，Numer。线性代数应用。，26, 3, 2233 (2019) ·Zbl 1513.65068号 ·doi:10.1002/nla.2233
[28] 吴，N-C；Xiang，H.，随机行迭代法及其扩展变量的半收敛性分析，Numer。线性代数应用。，28, 1, 2334 (2021) ·Zbl 1474.65102号 ·doi:10.1002/nla.2334
[29] Needell，D。；Ward，R.，相干超定系统的两个子空间投影方法，J.Fourier Ana。申请。，19, 2, 256-269 (2013) ·Zbl 1306.65190号 ·doi:10.1007/s00041-012-9248-z
[30] Du，K.，Sun，X.-H.：一致和不一致线性系统的无伪逆随机块迭代算法。预打印时间http://arxiv.org/abs/2011.10353 (2020)
[31] 杜，K。；硅，W-T；Sun，X-H，用于求解最小二乘的随机扩展平均块Kaczmarz，SIAM J.Sci。计算。，42, 6, 3541-3559 (2020) ·Zbl 1457.65020号 ·doi:10.1137/20M1312629
[32] Wu，W-T，关于求解大型线性最小二乘问题的两个子空间随机扩展Kaczmarz方法，Numer。算法，89，1，1-31（2022）·Zbl 1480.65091号 ·doi:10.1007/s11075-021-01104-x
[33] Wu，N.-C.，Liu，C.，Wang，Y.，Zuo，Q.：关于求解线性最小二乘问题的扩展随机多行方法。预打印时间http://arxiv.org/abs/2210.03478 (2022)
[34] Popa，C.，带松弛参数的块投影方法对不一致和秩亏最小二乘问题的扩展，BIT，38，1，151-176（1998）·Zbl 1005.65038号 ·doi:10.1007/BF02510922
[35] Popa，C.，通过扩展的Kaczmarz算法表征不一致最小二乘问题的解集，韩国J.Compute。申请。数学。，6, 1, 51-64 (1999) ·Zbl 0920.65023号 ·doi:10.1007/BF02941906
[36] Bai，Z-Z；Wu，W-T，关于求解大型稀疏超定不相容线性系统的部分随机扩展Kaczmarz方法，线性代数应用。，578, 225-250 (2019) ·兹比尔1420.65028 ·doi:10.1016/j.laa.2019.05.005
[37] 马，A。；Needell，D。；Ramdas，A.，随机扩展Gauss-Seidel和Kaczmarz方法的收敛性，SIAM J.矩阵分析。申请。，36, 4, 1590-1604 (2015) ·Zbl 1327.65112号 ·doi:10.1137/15M1014425
[38] Leventhal，D。；Lewis，AS，线性约束的随机方法：收敛速度和条件，数学。操作。第35、3、641-654号决议（2010年）·Zbl 1216.15006号 ·doi:10.1287/门.1100.0456
[39] Bai，Z-Z；Wang，L。；Wu，W-T，关于随机Gauss-Seidel方法的收敛速度，线性代数应用。，611, 237-252 (2021) ·Zbl 1459.65040号 ·doi:10.1016/j.laa.2020.10.028
[40] Golub，G.H.，Van Loan，C.F.：矩阵计算。JHU出版社（2013）·Zbl 1268.65037号
[41] Ben-Israel，A.，Greville，T.N.：《广义逆：理论与应用》第15卷。斯普林格（2003）·Zbl 1026.15004号
[42] Needell博士。；斯雷布罗，N。；Ward，R.，《随机梯度下降、加权采样和随机Kaczmarz算法》，数学。程序。，155, 549-573 (2016) ·Zbl 1333.65070号 ·doi:10.1007/s10107-015-0864-7
[43] Steinerberger，S.，求解线性系统的加权随机Kaczmarz方法，数学。公司。，90, 2815-2826 (2021) ·Zbl 1505.65165号 ·doi:10.1090/com/3644
[44] Deren，H.，Su，Y.，Xie，J.：线性系统的随机Douglas-Rachford方法：提高精度和效率。预打印时间http://arxiv.org/abs/2207.04291 (2022)
[45] Kolodziej，SP；阿兹纳夫，M。；布洛克，M。；大卫·J。；TA Davis；亨德森，M。；胡，Y。；Sandstrom，R.，The suitesparse矩阵集合网站界面，J.开源软件。，4, 35, 1244 (2019) ·doi:10.21105/joss.01244
[46] Hardt，M.，Recht，B.，Singer，Y.：训练更快，概括更好：随机梯度下降的稳定性。摘自：《第33届机器学习国际会议论文集》，第1225-1234页。PMLR（2016）
[47] Robbins，H.，Monro，S.：一种随机近似方法。安。数学。统计。400-407 (1951) ·Zbl 0054.05901号
[48] 马，A。；Needell，D.，缺失数据线性系统的随机梯度下降，数值。数学。理论方法应用。，12, 1, 1-20 (2019) ·Zbl 1438.65095号 ·doi:10.4208/nmtma。OA-2018-0066
[49] Nguyen，L.M.，Liu，J.，Scheinberg，K.，Takánch，M.：SARAH：使用随机递归梯度解决机器学习问题的新方法。摘自：第34届国际机器学习会议记录，第2613-2621页。PMLR（2017）
[50] Johnson，R.，Zhang，T.：使用预测方差减少加速随机梯度下降。摘自：《神经信息处理系统进展学报》，第315-323页。(2013)
[51] 内米洛夫斯基，A。；朱迪茨基，A。；兰·G。；Shapiro，A.，随机规划的鲁棒随机逼近方法，SIAM J.Optim。，19, 4, 1574-1609 (2009) ·Zbl 1189.90109号 ·doi:10.1137/070704277
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。