×

线性离散不适定问题Krylov迭代求解器CGME和LSMR的正则化性质及其在截断随机SVD中的应用。 (英语) Zbl 1455.65062号

摘要:对于受高斯白噪声污染的大规模线性离散不定问题(Ax-b\)或(Ax=b\),通常使用以下Krylov解:LSQR及其数学等价的CGLS(即应用于(A^T Ax=A^T b)的共轭梯度(CG)方法),CGME(即应用于(A^T y-b)或(A A^T y=b)的CG方法和(x=A^T y),以及LSMR(即,应用于(A ^T Ax=A ^T b)的最小残差(MINRES)方法)。这些方法具有内在的正则化效果,其中迭代次数(k)起到正则化参数的作用。在本文中,我们分析了CGME和LSMR的正则化效果,并建立了包括CGME迭代的滤波SVD展开在内的一些结果,这些结果证明了CGME的2-范数滤波最佳可能正则化解不如LSQR的精确,至少与LSQR一样精确。我们还证明了CGME和LSMR的半收敛总是分别不晚于和早于LSQR的半收敛。作为一个副产品,我们使用CGME的分析方法,改进了由随机算法生成的(a)的截断秩(k)近似SVD的精度的一个基本结果,并揭示了截断步长是如何影响精度的。数值实验验证了我们在CGME和LSMR上的结果。

理学硕士:

65层22 数值线性代数中的不适定性和正则化问题
65层10 线性系统的迭代数值方法
2015财年65 矩阵特征值和特征向量的数值计算
65层55 低阶矩阵逼近的数值方法;矩阵压缩
第15页第18页 特征值、奇异值和特征向量
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 阿斯特,RC;Borchers,B。;Thurber,CH,参数估计和逆问题(2013),纽约:Elsevier,纽约·Zbl 1273.35306号
[2] Berisha,S.、Nagy,J.G.:恢复工具:图像恢复的迭代方法。可从以下位置获得http://www.mathcs.emory.edu/nagy/RestoreTools(2012)
[3] 澳大利亚比约克。,最小二乘问题的数值方法(1996),费城:SIAM,费城·Zbl 0847.65023号
[4] Björck,Au:矩阵计算中的数值方法,应用数学教材,第59卷。斯普林格(2015)·Zbl 1322.65047号
[5] 钟,J。;Palmer,K.,用于大规模Tikhonov正则化的混合LSMR算法,SIAM J.Sci。计算。,37,S562-S580(2015)·Zbl 1325.65057号
[6] Craig,EJ,《N步迭代程序》,J.Math。物理。,34, 64-73 (1955) ·Zbl 0065.10901号
[7] Demmel,J.,《应用数值线性代数》(1997),hiladelphia:SIAM,hiladelphia
[8] 艾克,B。;利乌斯,阿拉斯加州;柏拉图,R.,某些梯度方法对不适定问题的不稳定性,数值。数学。,58, 129-134 (1990) ·Zbl 0714.65056号
[9] Engl,HW,反问题稳定解的正则化方法,测量数学。工业。,3, 71-143 (1993) ·Zbl 0776.65043号
[10] Engl,H.W.,Hanke,M.,Neubauer,A.:反问题的正则化。Kluwer学术出版社(2000)·Zbl 0859.65054号
[11] 方,DCL;Saunders,M.,LSMR:稀疏最小二乘问题的迭代算法,SIAM J.Sci。计算。,33, 2950-2971 (2011) ·Zbl 1232.65052号
[12] 加佐拉,S。;汉森,PC;Nagy,JG,IR工具:迭代正则化方法和大规模测试问题的MATLAB包,Numer。阿尔戈。,81, 773-811 (2019) ·Zbl 1415.65003号
[13] 加佐拉,S。;Novati,P.,Krylov子空间方法中离散Picard条件的继承,BIT-Numer。数学。,56, 893-918 (2016) ·Zbl 1353.65023号
[14] 吉利亚佐夫,SF;Gol'dman,NL,用迭代方法正则化不适定问题(2000),Dordrecht:Kluwer学术出版社,Dordecht
[15] Golub,生长激素;O’Leary,DP,共轭梯度和Lanczos算法的一些历史:1948-1976,SIAM Rev,31,50-102(1989)·Zbl 0673.65017号
[16] Halko,N。;马丁森,PG;Tropp,JA,《寻找随机性结构:构建近似矩阵分解的概率算法》,SIAM Rev.,53,217-288(2011)·Zbl 1269.65043号
[17] Hanke,M.,病态问题的共轭梯度型方法。《皮特曼数学系列研究笔记》,第327卷(1995年),埃塞克斯:朗曼,埃塞克斯·兹比尔083065043
[18] Hanke,M.,关于离散不适定问题正则化的基于Lanczos的方法,BIT Numer。数学。,41, 1008-1018 (2001)
[19] 汉克,M。;Hansen,PC,大型问题的正则化方法,调查数学。工业。,3, 253-315 (1993) ·Zbl 0805.65058号
[20] Hansen,PC,离散不定问题的离散Picard条件,BIT,30658-672(1990)·Zbl 0723.65147号
[21] Hansen,PC,数值秩不确定的离散不适定问题的截断奇异值分解解,SIAM J.Sci。统计师。计算。,11, 502-518 (1990) ·Zbl 0699.65029号
[22] Hansen,PC,秩亏和离散不适定问题:线性反演的数值方面(1998),费城:SIAM,费城·Zbl 0890.65037号
[23] Hansen,PC,Matlab 7.3正则化工具4.0版,Numer。阿尔戈。,46, 189-194 (2007) ·Zbl 1128.65029号
[24] Hansen,PC,《离散逆问题:洞察力和算法》(2010),费城:SIAM,费城·Zbl 1197.65054号
[25] 汉森,PC;Saxild-Hansen,M.,AIR工具——代数迭代重建方法的MATLAB包,J.Compute。申请。数学。,236, 2167-2178 (2012) ·Zbl 1241.65042号
[26] 汉森,PC;Jorgensen,JS,AIR Tools II:代数迭代重建方法,改进的实现,Numer。阿尔戈。,79, 107-137 (2018) ·Zbl 1397.65007号
[27] 赫斯特内斯,MR;Stiefel,E.,求解线性系统的共轭梯度方法,J.Res.Nat.Bur。支架。,49, 409-436 (1952) ·Zbl 0048.09901号
[28] Hnětynková,MR;库比诺娃,M。;Plešinger,M.,LSQR、LSMR和Craig正则化残差中的噪声表示,线性代数应用。,533, 357-379 (2017) ·Zbl 1391.15062号
[29] Hnětynková,MR;普莱辛格,P。;Strakoš,Z.,Golub-Kahan迭代双对角化的正则化效果和揭示数据中的噪声水平,BIT-Numer。数学。,49669-696(2009年)·Zbl 1184.65044号
[30] Hofmann,B.,《应用逆问题和不适定问题的正则化》(1986),斯图加特:图布纳·Zbl 0606.65038号
[31] 黄,Y。;Jia,Z.,关于大规模不适定问题LSQR正则化的一些结果,Sci。中国数学。,60, 701-718 (2017) ·Zbl 1453.65080号
[32] Jia,Z.:线性离散不适定问题的Krylov子空间的近似精度。arXiv:数学。NA/1805.10132v2·Zbl 1434.65043号
[33] Jia,Z.:线性离散不适定问题的LSQR中的低阶近似和Ritz值。arXiv:数学。NA/1811.03454v1
[34] Jia,Z.:线性离散不适定问题的LSQR中的Krylov子空间、低秩近似和Ritz值:多重奇异值情况。准备中(2019)
[35] 凯皮奥,J。;Somersalo,E.,《统计与计算反问题》(2005),纽约:Springer,纽约·Zbl 1068.65022号
[36] Kern,M.:反问题的数值方法。威利(2016)·Zbl 1342.65138号
[37] Kirsch,A.,《反问题数学理论导论》(2011),纽约:Springer,纽约·Zbl 1213.35004号
[38] Meurant,G.,《Lanczos和共轭梯度算法:从理论到有限精度计算》(2006),费城:SIAM,费城·Zbl 1110.65029号
[39] Natterer,F.,计算机断层扫描数学(2001),费城:SIAM,费城·Zbl 0973.92020号
[40] 佩奇,CC;Saunders,MA,稀疏不定线性方程组的解,SIAM J.Numer。分析。,12, 617-629 (1975) ·Zbl 0319.65025号
[41] 佩奇,CC;Saunders,MA,LSQR:稀疏线性方程组和稀疏最小二乘算法,ACM Trans。数学。软质。,8, 43-71 (1982) ·Zbl 0478.65016号
[42] 巴雷特,BN,《对称特征值问题》(1998),费城:SIAM,费城
[43] Stewart,G.W.,Sun,J.-G.:矩阵扰动理论。学术出版社,波士顿(1990)·Zbl 0706.65013号
[44] Varah,JM,线性离散不适定问题的一些数值方法的实际检验,SIAM Rev.,21,100-111(1979)·Zbl 0406.65015号
[45] 沃格尔,CR,反问题的计算方法(2002),费城:SIAM,费城·Zbl 1008.65103号
[46] JH Wilkinson,《代数特征值问题》(1965),牛津:克拉伦登出版社,牛津·Zbl 0258.65037号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。