×

使用多个数据集的无偏预测风险和广义交叉验证技术学习正则化的谱窗参数。 (英语) Zbl 1515.65088号

小结:在离散线性系统反演过程中,数据中的噪声可能会被放大,从而导致无意义的解。为了克服这种影响,在反演期间实施正则化。提供的先验信息的影响由非负正则化参数控制。有许多方法可用于选择适当的正则化参数。推导了无偏风险估计和广义交叉验证的新方法,用于寻找谱窗正则化参数。当多个具有公共系统矩阵的数据集可用时,这些估计被扩展用于寻找正则化参数。结果表明,这些用于多数据和多窗口的新估计量可以学习谱窗正则化参数。结果表明,这些不需要使用真实数据来学习正则化参数的修改方法是有效的,并且与基于使用真实数据估计参数的学习方法的性能相当。在二维图像去模糊的情况下验证了理论发展。结果验证了所获得的谱窗正则化参数的估计可以有效地用于与训练数据分离的验证数据集,并且不需要已知数据。

MSC公司:

65层22 数值线性代数中的不适定性和正则化问题
65层20 超定系统伪逆的数值解
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] B.M.Afkham、J.Chung和M.Chunng,通过深度神经网络学习反问题的正则化参数,反问题,37(2021),105017,29页·Zbl 07411952号
[2] S.P.O.C.-B.Arridge Maassktem Schönlieb,使用数据驱动模型解决反问题,《数值学报》,28,1-174(2019)·Zbl 1429.65116号 ·doi:10.1017/S096249291900059
[3] R.C.Aster、B.Borchers和C.H.Thurber,参数估计与反问题(第二版),爱思唯尔出版社,阿姆斯特丹,2013年·Zbl 1273.35306号
[4] M.M.E.Belge E.Kilmer L.Miller,广义L曲线框架中多个正则化参数的有效确定,反问题,18,1161-1183(2022)·Zbl 1018.65073号 ·doi:10.1088/0266-5611/18/4/314
[5] A.J.Bell和T.J.Sejnowski,自然场景的“独立组件”是边缘过滤器,视觉研究, 37 (1997), 3327-3338, .
[6] K.J.Bergen、P.A.Johnson、M.Van de Hoop和G.C.Beroza,固体地球科学中数据驱动发现的机器学习,科学类, 363 (2019).
[7] C.M.G.S.Brezinski Redivo-Zaglia Rodriguez Seatzu,病态线性系统的多参数正则化技术,数值数学,94203-228(2003)·Zbl 1024.65036号 ·doi:10.1007/s00211-002-0435-8
[8] M.J.Byrne,基于学习的多数据集谱窗正则化参数估计,亚利桑那州立大学博士论文,2023年。
[9] J.M.D.P.Chung Chung O’Leary,为逆问题设计最优谱滤波器,SIAM J.Sci。计算。,33, 3131-3152 (2011) ·Zbl 1269.65040号 ·数字对象标识代码:10.1137/100812938
[10] J.G.D.P.Chung Easley O'Leary,逆问题的加窗谱正则化,SIAM J.Sci。计算。,33, 3175-3200 (2011) ·Zbl 1269.65041号 ·数字对象标识代码:10.1137/100809787
[11] J.M.I.Chung Español,一般形式Tikhonov的学习正则化参数,逆问题,3377404(2017)·Zbl 1414.68048号 ·doi:10.1088/1361-6420/33/7/074004
[12] J.M.Chung、M.E.Kilmer和D.P.O’Leary,通过算子近似进行正则化的框架,SIAM J.科学。计算。,37(2015),B332-B359·兹比尔132065058
[13] J.J.G.D.P.Chung Nagy O’Leary,Lanczos混合正则化的加权GCV方法,Elect。事务处理。数字分析。,28, 149-167 (2008) ·Zbl 1171.65029号
[14] L.Debnath和P.Mikusin ski,希尔伯特空间及其应用简介第三版,爱思唯尔出版社,2005年。
[15] E.L.A.U.F.De Vito Rosasco Caponetto Giovannini Odone,作为反问题从实例中学习,J.Mach。学习。决议,6883-904(2005)·Zbl 1222.68180号
[16] G.R.D.V.M.Easley Labate Patel,使用复合膨胀小波的图像定向多尺度处理,J.Math。图像。视觉。,48, 13-34 (2014) ·Zbl 1291.68416号 ·文件编号:10.1007/s10851-012-0385-4
[17] S.P.C.J.G.Gazzola Hansen Nagy,《IR Tools:迭代正则化方法和大规模问题的MATLAB包》,《数值算法》,81,773-811(2019)·Zbl 1415.65003号 ·doi:10.1007/s11075-018-0570-7
[18] S.P.Gazzola Novati,多参数Arnoldi-Tikhonov方法,Elect。事务处理。数字分析。,40, 452-475 (2013) ·Zbl 1288.65084号
[19] G.H.M.G.Golub Heath Wahba,广义交叉验证作为选择良好岭参数的方法,技术计量学,21,215-223(1979)·Zbl 0461.62059号 ·doi:10.1080/00401706.1979.10489751
[20] G.H.Golub和C.F.Van Loan,矩阵计算《约翰·霍普金斯数学科学研究》,第(4^{th})版,约翰·霍普金斯大学出版社,马里兰州,2013年·Zbl 1268.65037号
[21] E.L.Haber Tenorio,《学习正则化函数——监督训练方法》,《逆向问题》,第19期,第611-626页(2013年)·Zbl 1046.90087号 ·doi:10.1088/0266-5611/19/3/309
[22] P.C.Hansen,利用L曲线分析离散不定问题,SIAM Review,34561-580(1992)·Zbl 0770.65026号 ·数字对象标识代码:10.1137/1034115
[23] P.C.Hansen,秩亏与离散不适定问题《工业和应用数学学会》,费城,1998年。
[24] P.C.Hansen、J.G.Nagy和D.P.O'Leary,图像去模糊:矩阵、光谱和滤波,《算法基础》,工业与应用数学学会,费城,2006年·Zbl 1112.68127号
[25] P.C.D.P.Hansen O'Leary,《L曲线在离散病态问题正则化中的应用》,SIAM J.Sci。计算。,14, 1487-1503 (1993) ·Zbl 0789.65030号 ·doi:10.1137/0914086
[26] G.K.Holler Kunisch,学习非局部正则化算子,数学。控制关系。菲尔德,1281-114(2022)·兹比尔1485.49010 ·doi:10.3934/mcrf.2021003年
[27] G.James、D.Witten、T.Hastie和R.Tibshirani,统计学习导论及其在R中的应用《统计中的斯普林格文本》,第103页。施普林格,纽约,2013年·Zbl 1281.62147号
[28] M.S.Kalke Siltanen,稀疏数据层析成像的自适应频域正则化,Inv.Prob。科学。工程,211099-1124(2013)·数字对象标识代码:10.1080/17415977.2012.738678
[29] K.T.Kunisch Pock,变分模型中参数学习的双层优化方法,SIAM J.成像科学,6938-983(2013)·Zbl 1280.49053号 ·数字对象标识代码:10.1137/120882706
[30] R.J.LeVeque,常微分方程和偏微分方程的有限差分方法:稳态和时间相关问题工业和应用数学学会(SIAM),宾夕法尼亚州费城,2007年·Zbl 1127.65080号
[31] S.S.V.Lu Pereverzev,多参数正则化及其数值实现,数值数学,118,1-31(2011)·Zbl 1221.65128号 ·doi:10.1007/s00211-010-0318-3
[32] C.L.Mallows,《关于(C_p)的一些评论》,《技术计量学》,第15期,第661-675页(1973年)·Zbl 0269.62061号
[33] J.L.Mead,参数估计:加权先验信息的新方法,J.Inv.病态探针。,16, 175-193 (2008) ·Zbl 1156.65008号
[34] J.L.Mead和R.A.Renaut,用于估计用于求解病态最小二乘问题的正则化参数的牛顿寻根算法,反问题,25(2009),025002,19页·Zbl 1163.65019号
[35] K.Modarresi和G.Golub,反问题数值解的多级方法,CSC 2007:IEEE计算机学会SIAM组合科学计算研讨会, (2007).
[36] K.Modarresi和G.Golub,使用多重广义交叉验证作为变化平滑效果的方法,CSC 2007:SIAM组合科学计算研讨会,SIAM,IEEE计算机学会, (2007).
[37] V.A.Morozov,《关于用正则化方法求解函数方程》,苏联数学Doklady,7,414-417(1966)·Zbl 0187.12203号
[38] NASA和JPL-Caltech,《Photojournal:Mercury》(2016),可从以下网站获得:https://photojournal.jpl.nasa.gov/targetFamily/Mercury。
[39] M.K.R.H.W.-C.Ng Chan Tang,具有Neumann边界条件的去模糊模型的快速算法,SIAM J.Sci。计算。,21, 851-866 (1999) ·Zbl 0951.65038号 ·doi:10.1137/S1064827598341384
[40] C.C.M.A.Paige Saunders,走向广义奇异值分解,SIAM J.Num.Anal。,18, 398-405 (1981) ·Zbl 0471.65018号 ·doi:10.1137/0718026
[41] R.A.Renaut,最小二乘问题的并行多分裂解,林氏算法。《申请》,5,11-31(1998)·Zbl 0937.65049号 ·doi:10.1002/(SICI)1099-1506(199801/02)5:1<11::AID-NLA123>3.0.CO;2楼
[42] R.A.Y.H.Renaut Lin Guo,带Krylov子空间循环的正则最小二乘多重分裂,Num.Lin.Alg。有申请。,19, 655-676 (2012) ·Zbl 1274.65117号 ·doi:10.1002/nla.797
[43] R.A.Renaut、S.Vatankhah和V.E.Ardestani,通过预测系统的无偏预测风险和加权GCV进行混合和迭代加权正则化,SIAM J.科学。计算。,39(2017),B221-B243·Zbl 1360.65115号
[44] J.A.M.Sidey-Gibbons和C.J.Sidey-Gibbons,《医学中的机器学习:实践简介》,BMC医学研究方法学, 19 (2019).
[45] I.M.S.Stephanakis Kollias,小波域正则化图像恢复子带正则化参数的广义交叉验证估计,第三十二届信号、系统和计算机Asilomar会议会议记录(分类号98CH36284),2938-940(1998)·doi:10.1109/ACSSC.1998.751400
[46] G.Strang,离散余弦变换,SIAM Review,41,135-147(1999)·Zbl 0939.42021号 ·doi:10.137/S0036144598336745
[47] V.Taroudaki和D.P.O'Leary,解决不适定问题的近最优谱滤波和误差估计,SIAM J.科学。计算。,37(2015),A2947-A2968·Zbl 1329.65084号
[48] A.N.Tikhonov,错误问题的正则化,苏联数学Doklady,41624-1627(1963)·Zbl 0183.11601号
[49] S.Vatankhah、R.A.Renaut和V.E.Ardestani,使用随机SVD对重力数据进行正则化聚焦三维反演的快速算法,地球物理学,83(2018),G25-G34。
[50] S.R.V.Vatankhah A.Renaut E.Ardestani,使用随机广义奇异值分解的三维重力反演问题的全变分正则化,Geohy。J.国际。,213, 695-705 (2018) ·doi:10.1093/gji/ggy014
[51] C.沃格尔,反问题的计算方法《应用数学前沿》,23。工业和应用数学学会(SIAM),宾夕法尼亚州费城,2002年·Zbl 1008.65103号
[52] G.Wahba,数据有噪声时线性算子方程的实用近似解,SIAM J.Num.Anal。,14, 651-667 (1977) ·Zbl 0402.65032号 ·doi:10.1137/0714044
[53] G.Wahba,观测数据的样条模型,CBMS-NSF应用数学区域会议系列,59。工业和应用数学学会(SIAM),宾夕法尼亚州费城,1990年·Zbl 0813.62001号
[54] Z.Wang,用于选择正则化参数的阻尼Morozov原理的多参数Tikhonov正则化和模型函数方法,J.Comp。申请。数学。,236, 1815-1832 (2012) ·Zbl 1247.65072号 ·doi:10.1016/j.cam.2011.10.014
[55] S.N.Wood,带多重二次惩罚的建模与平滑参数估计,J.皇家统计学会:B辑,62413-428(2002)·doi:10.1111/1467-9868.00240
[56] J.M.T.N.K.Zobitz Quaife Nichols,用于规则化线性BRDF参数检索的高效超参数确定,国际遥感杂志,41,1437-1457(2020)·doi:10.1080/0143116.2019.1667552
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。