×

线性离散不适定问题Krylov迭代求解器CGME和LSMR的正则化性质及其在截断随机SVD中的应用。 (英语) Zbl 1455.65062号

摘要:对于受高斯白噪声污染的大规模线性离散不定问题(Ax-b\)或(Ax=b\),通常使用以下Krylov解:LSQR及其数学等价的CGLS(即应用于(A^T Ax=A^T b)的共轭梯度(CG)方法),CGME(即应用于(A^T y-b)或(A A^T y=b)的CG方法和(x=A^T y),以及LSMR(即,应用于(A ^T Ax=A ^T b)的最小残差(MINRES)方法)。这些方法具有内在的正则化效应,其中迭代次数\(k\)起着正则化参数的作用。在本文中,我们分析了CGME和LSMR的正则化效果,并建立了包括CGME迭代的滤波SVD展开在内的一些结果,这些结果证明了CGME的2-范数滤波最佳可能正则化解不如LSQR的精确,至少与LSQR一样精确。我们还证明了CGME和LSMR的半收敛总是分别发生在LSQR和CGME的半收敛之前。作为一个副产品,我们使用CGME的分析方法,改进了由随机算法生成的(a)的截断秩(k)近似SVD的精度的一个基本结果,并揭示了截断步长是如何影响精度的。数值实验验证了我们在CGME和LSMR上的结果。

MSC公司:

65层22 数值线性代数中的不适定性和正则化问题
65层10 线性系统的迭代数值方法
65英尺15英寸 矩阵特征值和特征向量的数值计算
65层55 低阶矩阵逼近的数值方法;矩阵压缩
第15页第18页 特征值、奇异值和特征向量
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 阿斯特,RC;Borchers,B。;Thurber,CH,参数估计和逆问题(2013),纽约:Elsevier,纽约·Zbl 1273.35306号
[2] Berisha,S.、Nagy,J.G.:恢复工具:图像恢复的迭代方法。可从以下位置获得http://www.mathcs.emory.edu/nagy/RestoreTools(2012)
[3] 澳大利亚比约克。,最小二乘问题的数值方法(1996),费城:SIAM,费城·Zbl 0847.65023号 ·doi:10.1137/1.9781611971484
[4] Björck,O:矩阵计算中的数值方法,应用数学教材,第59卷。斯普林格(2015)·Zbl 1322.65047号
[5] 钟,J。;Palmer,K.,用于大规模Tikhonov正则化的混合LSMR算法,SIAM J.Sci。计算。,37,S562-S580(2015)·Zbl 1325.65057号 ·doi:10.1137/140975024
[6] Craig,EJ,《N步迭代程序》,J.Math。物理。,34, 64-73 (1955) ·Zbl 0065.10901号 ·doi:10.1002/sapm195534164
[7] Demmel,J.,《应用数值线性代数》(1997),hiladelphia:SIAM,hiladelphia·Zbl 0879.65017号 ·doi:10.1137/1.9781611971446
[8] 艾克,B。;利乌斯,阿拉斯加州;柏拉图,R.,不适定问题的一些梯度方法的不稳定性,Numer。数学。,58, 129-134 (1990) ·Zbl 0714.65056号 ·doi:10.1007/BF01385614
[9] Engl,HW,反问题稳定解的正则化方法,测量数学。工业。,3, 71-143 (1993) ·Zbl 0776.65043号
[10] Engl,H.W.,Hanke,M.,Neubauer,A.:反问题的正则化。Kluwer学术出版社(2000)·Zbl 0859.65054号
[11] 方,DCL;Saunders,M.,LSMR:稀疏最小二乘问题的迭代算法,SIAM J.Sci。计算。,33, 2950-2971 (2011) ·Zbl 1232.65052号 ·数字对象标识码:10.1137/10079687X
[12] Gazzola,S。;汉森,PC;Nagy,JG,IR工具:迭代正则化方法和大规模测试问题的MATLAB包,Numer。阿尔戈。,81, 773-811 (2019) ·Zbl 1415.65003号 ·doi:10.1007/s11075-018-0570-7
[13] Gazzola,S。;Novati,P.,Krylov子空间方法中离散Picard条件的继承,BIT-Numer。数学。,56, 893-918 (2016) ·Zbl 1353.65023号 ·doi:10.1007/s10543-015-0578-5
[14] 吉尔亚佐夫,旧金山;Gol'dman,NL,用迭代方法正则化不适定问题(2000),Dordrecht:Kluwer学术出版社,Dordecht·兹伯利0943.65066 ·doi:10.1007/978-94-015-9482-0
[15] Golub,生长激素;O’Leary,DP,共轭梯度和Lanczos算法的一些历史:1948-1976,SIAM Rev,31,50-102(1989)·Zbl 0673.65017号 ·数字对象标识代码:10.1137/1031003
[16] Halko,N。;马丁森,PG;Tropp,JA,《寻找随机性结构:构建近似矩阵分解的概率算法》,SIAM Rev.,53,217-288(2011)·Zbl 1269.65043号 ·数字对象标识代码:10.1137/090771806
[17] Hanke,M.,病态问题的共轭梯度型方法。《皮特曼数学系列研究笔记》,第327卷(1995年),埃塞克斯:朗曼,埃塞克斯·Zbl 0830.65043号
[18] Hanke,M.,《基于Lanczos的离散不适定问题正则化方法》,BIT-Numer。数学。,41, 1008-1018 (2001) ·doi:10.1023/A:1021941328858
[19] 汉克,M。;Hansen,PC,大型问题的正则化方法,调查数学。工业。,3, 253-315 (1993) ·Zbl 0805.65058号
[20] Hansen,PC,离散不定问题的离散Picard条件,BIT,30658-672(1990)·Zbl 0723.65147号 ·doi:10.1007/BF01933214
[21] Hansen,PC,数值秩不确定的离散不适定问题的截断奇异值分解解,SIAM J.Sci。统计师。计算。,11, 502-518 (1990) ·Zbl 0699.65029号 ·doi:10.1137/0911028
[22] Hansen,PC,秩亏和离散不适定问题:线性反演的数值方面(1998),费城:SIAM,费城·Zbl 0890.65037号 ·数字对象标识代码:10.1137/1.9780898719697
[23] Hansen,PC,Matlab 7.3正则化工具4.0版,Numer。阿尔戈。,189-194年(2007年)·Zbl 1128.65029号 ·doi:10.1007/s11075-007-9136-9
[24] Hansen,PC,《离散逆问题:洞察力和算法》(2010),费城:SIAM,费城·Zbl 1197.65054号 ·doi:10.1137/1.9780898718836
[25] 汉森,PC;Saxild-Hansen,M.,AIR工具——代数迭代重建方法的MATLAB包,J.Compute。申请。数学。,236、2167-2178(2012年)·Zbl 1241.65042号 ·doi:10.1016/j.cam.2011.09.039
[26] 汉森,PC;Jorgensen,JS,AIR Tools II:代数迭代重建方法,改进的实现,Numer。阿尔戈。,79, 107-137 (2018) ·Zbl 1397.65007号 ·doi:10.1007/s11075-017-0430-x
[27] 犹豫,MR;Stiefel,E.,求解线性系统的共轭梯度方法,J.Res.Nat.Bur。支架。,49, 409-436 (1952) ·Zbl 0048.09901号 ·doi:10.6028/jres.049.044
[28] Hnětynková,MR;库比诺娃,M。;Plešinger,M.,LSQR、LSMR和Craig正则化残差中的噪声表示,线性代数应用。,533, 357-379 (2017) ·Zbl 1391.15062号 ·doi:10.1016/j.laa.2017.07.031
[29] Hnětynková,MR;普莱辛格,P。;Strakoš,Z.,Golub-Kahan迭代双对角化的正则化效果和揭示数据中的噪声水平,BIT-Numer。数学。,49, 669-696 (2009) ·Zbl 1184.65044号 ·doi:10.1007/s10543-009-0239-7
[30] Hofmann,B.,《应用逆问题和不适定问题的正则化》(1986),斯图加特:图布纳·Zbl 0606.65038号 ·doi:10.1007/978-3-3222-93034-7
[31] 黄,Y。;Jia,Z.,关于大规模不适定问题LSQR正则化的一些结果,Sci。中国数学。,60, 701-718 (2017) ·Zbl 1453.65080号 ·doi:10.1007/s11425-015-0568-4
[32] Jia,Z.:线性离散不适定问题的Krylov子空间的近似精度。arXiv:数学。NA/1805.10132v2·Zbl 1434.65043号
[33] Jia,Z.:线性离散不适定问题的LSQR中的低阶近似和Ritz值。arXiv:数学。NA/1811.03454v1
[34] Jia,Z.:线性离散不适定问题的LSQR中的Krylov子空间、低秩近似和Ritz值:多重奇异值情况。准备中(2019年)
[35] 凯皮奥,J。;Somersalo,E.,《统计与计算反问题》(2005),纽约:Springer,纽约·Zbl 1068.65022号
[36] Kern,M.:反问题的数值方法。威利(2016)·Zbl 1342.65138号
[37] Kirsch,A.,《反问题数学理论导论》(2011),纽约:Springer,纽约·Zbl 1213.35004号 ·doi:10.1007/978-1-4419-8474-6
[38] Meurant,G.,《Lanczos和共轭梯度算法:从理论到有限精度计算》(2006),费城:SIAM,费城·Zbl 1110.65029号 ·数字对象标识代码:10.1137/1.9780898718140
[39] Natterer,F.,计算机断层扫描数学(2001),费城:SIAM,费城·Zbl 0973.92020号 ·doi:10.1137/1.9780898719284
[40] 佩奇,CC;Saunders,MA,稀疏不定线性方程组的解,SIAM J.Numer。分析。,12, 617-629 (1975) ·Zbl 0319.65025号 ·数字对象标识代码:10.1137/0712047
[41] 佩奇,CC;Saunders,MA,LSQR:稀疏线性方程组和稀疏最小二乘算法,ACM Trans。数学。软质。,8, 43-71 (1982) ·Zbl 0478.65016号 ·数字对象标识代码:10.1145/355984.355989
[42] 巴雷特,BN,《对称特征值问题》(1998),费城:SIAM,费城·Zbl 0885.65039号 ·doi:10.1137/1.9781611971163
[43] Stewart,G.W.,Sun,J.-G.:矩阵扰动理论。学术出版社,波士顿(1990)·Zbl 0706.65013号
[44] Varah,JM,线性离散不适定问题的一些数值方法的实际检验,SIAM Rev.,21,100-111(1979)·兹比尔0406.65015 ·数字对象标识代码:10.1137/1021007
[45] 沃格尔,CR,反问题的计算方法(2002),费城:SIAM,费城·Zbl 1008.65103号 ·doi:10.137/1.97808981717570
[46] JH Wilkinson,《代数特征值问题》(1965),牛津:克拉伦登出版社,牛津·Zbl 0258.65037号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。