×

一种求解正则化总最小二乘问题的高效Gauss-Newton算法。 (英语) Zbl 1490.65073号

小结:总最小二乘法(TLS)是一种众所周知的求解超定线性方程组(Ax近似b)的方法,当系数矩阵(a)和右侧向量(b)都受到一些噪声污染时,这种方法是合适的。对于不适定TLS问题,需要正则化技术来稳定计算解;否则,TLS会产生以噪声为主的输出。在本文中,我们证明了正则化总最小二乘(RTLS)问题可以重新表述为非线性最小二乘问题,并且可以用Gauss-Newton方法求解。由于RTLS问题的性质,我们提出了一种合适的方法来选择好的正则化参数和良好的初始猜测。最后,通过一些测试问题验证了该方法的有效性。

MSC公司:

65层22 数值线性代数中的不适定性和正则化问题
65层20 超定系统伪逆的数值解
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Adcock,RJ,关于最小二乘法的注释,分析家,4,6,183-184(1877)·JFM 04年9月154.04日 ·doi:10.2307/2635777
[2] 贝克,A。;Ben-Tal,A.,关于总最小二乘问题的Tikhonov正则化解,SIAM J.Optim。,17, 1, 98-118 (2006) ·Zbl 1112.65034号 ·doi:10.1137/050624418
[3] 贝克,A。;Ben-Tal,A。;Teboulle,M.,《寻找二次约束分数次二次型问题的全局最优解及其正则化总最小二乘法的应用》,SIAM J.矩阵分析。申请。,28, 2, 425-445 (2006) ·Zbl 1115.65065号 ·数字对象标识代码:10.1137/040616851
[4] 比约克,澳大利亚:最小二乘问题的数值方法。SIAM(1996)·Zbl 0847.65023号
[5] 比约克,澳大利亚。;Heggenes,Px;Matstoms,P.,《大规模总最小二乘问题的方法》,SIAM J.矩阵分析。申请。,22, 2, 413-429 (2000) ·Zbl 0974.65037号 ·doi:10.1137/S0895479899355414
[6] 布奇尼,A。;帕克,Y。;Reichel,L.,线性离散不适定问题的后验参数选择规则比较,J.Compute。申请。数学。,373, 112138 (2020) ·Zbl 1441.65045号 ·doi:10.1016/j.cam.2019.02.005
[7] Calvetti,D。;Golub,生长激素;Reichel,L.,通过lanczos双对角化估计L曲线,BIT-Numer。数学。,39, 4, 603-619 (1999) ·Zbl 0945.65044号 ·doi:10.1023/A:1022383005969
[8] Calvetti,D。;赖切尔,L。;Shuibi,A.,Tikhonov正则化的L-曲线和曲率边界,Numer。算法。,35101-314(2004年)·兹比尔1049.65029 ·doi:10.1023/B:NUMA.000021764.16526.47
[9] Coello,C.A.C.,Lamont,G.B.,Van Veldhuizen,D.A.等人:解决多目标问题的进化算法,第5卷。施普林格(2007)·Zbl 1142.90029号
[10] Cortiella,A。;公园,K-C;Doostan,A.,通过重加权对非线性动力系统进行稀疏辨识1-正则最小二乘,计算。方法应用。机械。工程,376113620(2021)·Zbl 1506.37104号 ·doi:10.1016/j.cma.2020.113620
[11] Deb,K.:《使用进化算法的多目标优化》,第16卷。威利(2001)·Zbl 0970.90091号
[12] Ehrgott,M.:《多准则优化》,第491卷。Springer科学与商业媒体(2005)·Zbl 1132.90001号
[13] Engl,H.W.,Hanke,M.,Neubauer,A.:反问题的正则化,第375卷。Springer科学与商业媒体(2000)·Zbl 0859.65054号
[14] Fasino,D.,Fazzi,A.:总最小二乘问题的Gauss-Newton迭代。位数字。数学。,1-19 (2018) ·Zbl 1444.65013号
[15] 费努,C。;赖切尔,L。;罗德里格斯,G。;Sadok,H.,通过部分SVD、BIT Numer进行Tikhonov正则化的GCV。数学。,57, 4, 1019-1039 (2017) ·Zbl 1386.65118号 ·doi:10.1007/s10543-017-0662-0
[16] RD费罗;Golub,生长激素;汉森,PC;O’Leary,DP,截断总最小二乘正则化,SIAM J.Sci。计算。,18, 4, 1223-1241 (1997) ·Zbl 0891.65040号 ·doi:10.1137/S1064827594263837
[17] 甘德,W。;Golub,生长激素;von Matt,U.,一个约束特征值问题,线性代数应用。,114815-839(1989年)·Zbl 0666.15006号 ·doi:10.1016/0024-3795(89)90494-1
[18] Golub,生长激素;汉森,PC;O'Leary,DP,TIkhonov正则化和总最小二乘法,SIAM J.矩阵分析。申请。,185-194年1月21日(1999年)·Zbl 0945.65042号 ·doi:10.1137/S089547979897326432
[19] Golub,生长激素;Van Loan,CF,总最小二乘问题分析,SIAM J.Numer。分析。,17, 6, 883-893 (1980) ·Zbl 0468.65011号 ·数字对象标识代码:10.1137/0717073
[20] Golub,G.H.,Van Loan,C.F.:矩阵计算。约翰·霍普金斯大学出版社,巴尔的摩(2013)·Zbl 1268.65037号
[21] Guo,H.,Renaut,R.A.:正则化总最小二乘算法。《总最小二乘法和变量误差建模》,第57-66页。斯普林格(2002)·Zbl 0995.65042号
[22] Hansen,P.,Pereyra,V.,Scherer,G.:最小二乘数据拟合应用。约翰·霍普金斯大学出版社(2013)·Zbl 1270.65008号
[23] Hansen,P.C.:秩亏和离散病态问题:线性反演的数值方面。SIAM(1998)
[24] Hansen,PC,正则化工具4.0版,用于matlab 7.3,Numer。算法。,46, 2, 189-194 (2007) ·Zbl 1128.65029号 ·doi:10.1007/s11075-007-9136-9
[25] 汉森,PC;O’Leary,DP,《L曲线在离散不定问题正则化中的应用》,SIAM J.Sci。计算。,14, 6, 1487-1503 (1993) ·Zbl 0789.65030号 ·doi:10.1137/0914086
[26] 兰佩,J。;Voss,H.,关于正则化总最小二乘中出现的二次特征值问题,计算。统计数据分析。,52, 2, 1090-1102 (2007) ·Zbl 1393.15013号 ·doi:10.1016/j.csda.2007.05.020
[27] 兰佩,J。;Voss,H.,求解正则化总最小二乘问题的快速算法,Electron。事务处理。数字分析。,2008年12月31日至24日·Zbl 1171.15305号
[28] 兰佩,J。;Voss,H.,基于本征问题求解正则化总最小二乘问题,台湾。数学杂志。,14, 3, 885-909 (2010) ·Zbl 1198.65081号 ·doi:10.11650/twjm/1500405873
[29] 兰佩,J。;Voss,H.,正则化总最小二乘问题中超参数的有效确定,应用。数字。数学。,62, 9, 1229-1241 (2012) ·Zbl 1246.65063号 ·doi:10.1016/j.apnum.2010.06.005
[30] 兰佩,J。;Voss,H.,总最小二乘的大尺度Tikhonov正则化,J.Compute。申请。数学。,238, 95-108 (2013) ·Zbl 1254.65052号 ·doi:10.1016/j.cam.2012.08.023
[31] Lawson,C.L.,Hanson,R.J.:解决最小二乘问题,第15卷。SIAM(1995)·Zbl 0860.65029号
[32] Lee,G。;巴洛,JL,正则总最小二乘逼近的两种投影方法,线性代数应用。,461, 18-41 (2014) ·Zbl 1298.65055号 ·doi:10.1016/j.laa.2014.07.045
[33] Lee,G。;Fu,H。;Barlow,JL,《使用基于Tikhonov正则化的总最小二乘快速高分辨率图像重建》,SIAM J.Sci。计算。,35、1、B275-B290(2013)·Zbl 1267.65027号 ·数字对象标识代码:10.1137/10850591
[34] 莱文,E。;Meltzer,AY,使用Picard参数估计线性离散病态问题中的正则化参数,SIAM J.Sci。计算。,39、6、A2741-A2762(2017)·Zbl 1378.65117号 ·doi:10.1137/17M1123195
[35] Markovsky,I.,《总最小二乘法及相关方法参考书目》,《统计界面》,3,3,329-334(2010)·Zbl 1245.65001号 ·doi:10.4310/SII.2010.v3.n3.a6
[36] 马可夫斯基,I。;Van Huffel,S.,总最小二乘法概述,信号处理。,872283-2302(2007年)·Zbl 1186.94229号 ·doi:10.1016/j.sigpro.2007.04.004
[37] Miettinen,K.:《非线性多目标优化》,第12卷。施普林格科技与商业媒体(2012)·Zbl 1282.90166号
[38] Nocedal,J.,Wright,S.:数值优化。Springer科学与商业媒体(2006)·Zbl 1104.65059号
[39] 帕克,Y。;赖切尔,L。;罗德里格斯,G。;Yu,X.,一般形式的Tikhonov正则化问题的参数确定,J.Compute。申请。数学。,343, 12-25 (2018) ·Zbl 1391.65100号 ·doi:10.1016/j.cam.2018.04.049
[40] Reddy,G.,加权Tikhonov正则化方案的参数选择规则,计算。申请。数学。,37, 2, 2039-2052 (2018) ·Zbl 1405.65057号 ·doi:10.1007/s40314-017-0433-1
[41] 赖切尔,L。;Rodriguez,G.,离散不定问题的新旧参数选择规则,Numer。算法。,63, 1, 65-87 (2013) ·Zbl 1267.65045号 ·doi:10.1007/s11075-012-9612-8
[42] 赖切尔,L。;Sadok,H.,《不适定问题的新L曲线》,J.Compute。申请。数学。,219, 2, 493-508 (2008) ·Zbl 1145.65035号 ·doi:10.1016/j.cam.2007.01.025
[43] 雷诺特,RA;Guo,H.,正则化总最小二乘解的有效算法,SIAM J.矩阵分析。申请。,26, 2, 457-476 (2005) ·Zbl 1082.65045号 ·doi:10.1137/S0895479798419889
[44] 雷诺特,RA;霍斯特,M。;Wang,Y。;科克伦,D。;Hansen,J.,通过下采样和奇异值展开有效估计正则化参数,BIT-Numer。数学。,57, 2, 499-529 (2017) ·Zbl 1367.65061号 ·doi:10.1007/s10543-016-0637-6
[45] 司马,DM;Van Huffel,S。;Golub,GH,基于二次特征值问题求解器的正则化总最小二乘,BIT Numer。数学。,44,4793-812(2004年)·Zbl 1079.65048号 ·doi:10.1007/s10543-004-6024-8
[46] Snyman,J.A.:实用数学优化。斯普林格(2005)·Zbl 1104.90003号
[47] Van Huffel,S.,Vandewalle,J.:总最小二乘问题:计算方面和分析,第9卷。SIAM(1991)·Zbl 0789.62054号
[48] Wang,F。;Zhao,X-L;Ng,MK,通过帧分解和基于l1的L曲线方法去除乘法噪声和模糊,IEEE Trans。图像处理。,25, 9, 4222-4232 (2016) ·Zbl 1408.94671号 ·doi:10.1109/TIP.2016.2583793
[49] 杨,M。;夏,Y。;Wang,J。;Peng,J.,利用Tikhonov恒等正则化有效求解总最小二乘,计算。最佳方案。申请。,70, 2, 571-592 (2018) ·Zbl 1391.90498号 ·doi:10.1007/s10589-018-0004-4
[50] Zare,H。;Hajarian,M.,通过求解多目标优化问题确定正则化参数,应用。数字。数学。,156, 542-554 (2020) ·Zbl 1506.47020号 ·doi:10.1016/j.apnum.2020.05.021
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。