金、邦蒂;周泽辉;邹军 非线性不适定问题随机梯度下降的收敛性。 （英语） 兹比尔1487.65061 SIAM J.Optim公司。 30，第2期，1421-1450（2020）. 这项工作涉及反问题数值解的随机梯度下降。作者分析了Hilbert空间中一类非线性不适定反问题的正则化性质，这类问题通常出现在微分方程的非线性参数识别问题中。在迭代的每一步，该方法从非线性系统中随机选择一个方程，以获得梯度的无偏随机估计，然后使用估计的梯度执行下降步骤。它是非线性逆问题经典Landweber方法的随机版本（由M.汉克等【数值数学72，No.1，21-37（1995；Zbl 0840.65049号)])，并且它对问题大小具有高度的可扩展性，并且在解决大规模逆问题方面具有巨大的潜力。在正则切向锥条件下，证明了先验停止规则的正则性，并在适当的源条件和范围不变条件下建立了收敛速度。审核人：Bangti Jin（伦敦） 引用于14文件 MSC公司： 65J20型 抽象空间中不适定问题的数值解；正规化 65J22型 抽象空间反问题的数值解法 47J06型 非线性不适定问题 关键词：随机梯度下降;调整属性;非线性反问题;收敛速率 引文：Zbl 0840.65049号 软件：亚当 PDF格式BibTeX公司 XML格式引用 \textit{B.Jin}等人，SIAM J.Optim。30，第2期，1421--1450（2020；Zbl 1487.65061） 全文： 内政部 arXiv公司 参考文献： [1] L.Bottou、F.E.Curtis和J.Nocedal，《大规模机器学习的优化方法》，SIAM Rev.，60（2018），第223-311页，https://doi.org/10.1137/16M1080173。 ·Zbl 1397.65085号 [2] K.Chen、Q.Li和J.-G.Liu，《光学层析成像在线学习：随机方法》，《逆向问题》，34（2018），075010·Zbl 1507.65304号 [3] C.Clason和V.H.Nhu，非光滑适定问题的Bouligand-Landweber迭代，Numer。数学。，142（2019），第789-832页·Zbl 1418.49023号 [4] A.Dieuleveut和F.Bach，大步长非参数随机逼近，Ann.Statist。，44（2016），第1363-1399页，https://doi.org/10.1214/15-AOS1391。 ·Zbl 1346.60041号 [5] H.W.Engl、M.Hanke和A.Neubauer，《反问题的正则化》，荷兰多德雷赫特Kluwer出版社，1996年·兹比尔0859.65054 [6] C.Geiersbach和G.C.Pflug，Hilbert空间凸约束问题的投影随机梯度，SIAM J.Optim。，29（2019），第2079-2099页，https://doi.org/10.1137/18M1200208。 ·Zbl 1426.62238号 [7] R.M.Gower、N.Loizou、X.Qian、A.Sailanbayev、E.Shulgin和P.Richtárik，SGD：一般分析和改进率，载于《第36届机器学习国际会议论文集》，PMLR 97，K.Chaudhuri和R.Salakhuttinov编辑，加利福尼亚州长滩，2019，第5200-5209页。 [8] M.Hanke、A.Neubauer和O.Scherzer，非线性不适定问题Landweber迭代的收敛性分析，数值。数学。，72（1995），第21-37页，https://doi.org/10.1007/s002110050158。 ·Zbl 0840.65049号 [9] G.T.Herman、A.Lent和P.H.Lutz，图像重建的松弛方法，美国医学委员会，21（1978），第152-158页，https://doi.org/10.1145/359340.359351。 ·Zbl 0367.68065号 [10] G.T.Herman和L.B.Meyer，代数重建技术可以提高计算效率，IEEE Trans。《医学影像学》，第12期（1993年），第600-609页。 [11] K.Ito和B.Jin，非线性约束Tikhonov正则化的新方法，反问题，27（2011），105005，https://doi.org/10.1088/0266-5611/27/10/105005。 ·Zbl 1243.65063号 [12] K.Ito和B.Jin，《反问题：Tikhonov理论和算法》，《世界科学》，新泽西州哈肯萨克，2015年·Zbl 1306.65210号 [13] 焦永庆，金斌，卢小新，随机Kaczmarz方法的前渐近收敛性，反问题，33（2017），125012·Zbl 1382.65087号 [14] B.Jin和X.Lu，关于随机梯度下降的正则性，反问题，35（2019），015004·Zbl 1490.65070号 [15] B.Kaltenbacher、A.Neubauer和O.Scherzer，非线性不适定问题的迭代正则化方法，Walter de Gruyter，柏林，2008，https://doi.org/10.1515/9783110208276。 ·Zbl 1145.65037号 [16] D.P.Kingma和J.Ba，Adam：随机优化方法，《第三届学习表征国际会议（ICLR）论文集》，加利福尼亚州圣地亚哥，2015年。 [17] H.J.Kushner和G.G.Yin，《随机逼近和递归算法及应用》，第二版，Springer-Verlag，纽约，2003年·Zbl 1026.62084号 [18] L.Landweber，第一类Fredholm积分方程的迭代公式，Amer。数学杂志。，73（1951年），第615-624页，https://doi.org/10.2307/2372313。 ·Zbl 0043.10602号 [19] J.Lin和L.Rosasco，多次随机梯度方法的最优速率，J.Mach。学习。决议，18（2017），第1-47页·Zbl 1435.68272号 [20] A.K.Louis，Inverse und Schlecht Gestellete Probleme，B.G.Teubner，斯图加特，1989年，https://doi.org/10.1007/978-3322-84808-6。 ·Zbl 0667.65045号 [21] S.F.McCormick和G.H.Rodrigue，线性算子方程梯度方法的统一方法，J.Math。分析。申请。，49（1975），第275-285页，https://doi.org/10.1016/0022-247X(75)90179-1. ·Zbl 0323.65018号 [22] H.Robbins和S.Monro，《随机近似方法》，《数学年鉴》。《统计》，22（1951），第400-407页·Zbl 0054.05901号 [23] O.Scherzer、M.Grasmair、H.Grossauer、M.Haltmeier和F.Lenzen，《成像中的变分方法》，施普林格，纽约，2009年·Zbl 1177.68245号 [24] T.Schuster、B.Kaltenbacher、B.Hofmann和K.S.Kazimierski，《巴拿赫空间中的正则化方法》，Walter de Gruyter，柏林，2012年，https://doi.org/10.1515/9783110255720。 ·Zbl 1259.65087号 [25] T.Strohmer和R.Vershynin，指数收敛的随机Kaczmarz算法，J.Fourier Ana。申请。，15（2009），第262-278页，https://doi.org/10.1007/s00041-008-9030-4。 ·Zbl 1169.68052号 [26] I.Sutskever、J.Martens、G.Dahl和G.E.Hinton，《深度学习中初始化和动力的重要性》，载于《第三十届国际机器学习会议论文集》（ICML-13），S.Dasgupta和D.Mcallester编辑，佐治亚州亚特兰大，2013年，第1139-1147页。 [27] Y.S.Tan和R.Vershynin，通过随机Kaczmarz进行相位恢复：理论保证，Inf.Inference，8（2019），第97-123页，https://doi.org/10.1093/imaiai/iay005。 ·Zbl 1476.90224号 [28] P.Tarrès和Y.Yao，在线学习作为正则化路径的随机近似：最优性和近似收敛，IEEE Trans。通知。《理论》，60（2014），第5716-5735页，https://doi.org/10.109/TIT.2014.2332531。 ·Zbl 1360.62192号 [29] V.V.Vasin，解决Hilbert空间中具有先验信息的不适定问题的迭代方法，Zh。维奇尔。材质材质材质。，28（1988），第971-980页，第1117页，https://doi.org/10.1016/0041-5553(88)90104-8. ·Zbl 0655.47017号 [30] G.M.Va\u\inikko和A.Y.Veretennikov，不适定问题的迭代程序，“Nauka”，莫斯科，1986年·Zbl 0593.65040号 [31] Y.Ying和M.Pontil，在线梯度下降学习算法，发现。计算。数学。，8（2008），第561-596页，https://doi.org/10.1007/s10208-006-0237-y。 ·Zbl 1175.68211号 [32] T.Zhang，使用随机梯度下降算法解决大规模线性预测问题，《第二十一届机器学习国际会议论文集》，C.Brodley，ed.，Banff，AB，加拿大，2004年，第919-926页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。