×
哈多克，杰米;迪安娜·尼德尔;伊丽莎维塔·雷布罗瓦;威廉·斯沃特沃思

线性方程组损坏的基于分位数的迭代方法。 （英语） Zbl 1492.65078号

SIAM J.矩阵分析。申请。 43，第2号，605-637（2022）.
概述：通常在从医学成像和传感器网络到误差校正和数据科学（及其他）的应用中，需要解决一部分测量值已损坏的大规模线性系统。我们考虑求解由于测量向量（b）中的损坏而不一致的大型线性方程组（Ax=b）。我们开发了迭代方法的几种变体，即使在存在大的腐蚀的情况下，也能收敛到未腐蚀方程组的解。这些方法利用残差向量绝对值的分位数来确定迭代更新。我们给出了理论和实证结果，证明了这些迭代方法的前景。

引用于2文件

MSC公司：

65层10 线性系统的迭代数值方法
65层20 超定系统伪逆的数值解
65层22 数值线性代数中的不适定性和正则化问题

关键词：

卡兹马茨法;随机迭代法;分位数方法;损坏的线性系统;最小二乘问题

软件：

UCI-毫升;正则化工具
PDF格式BibTeX公司 XML格式引用
\textit{J.Haddock}等人，SIAM J.矩阵分析。申请。43，第2号，605--637（2022；Zbl 1492.65078）
全文： DOI程序 arXiv公司

参考文献：

[1] S.Agmon，线性不等式的松弛方法，Canad。数学杂志。，6（1954年），第382-392页，https://doi.org/10.4153/CJM-1954-038-x。 ·Zbl 0055.35001号
[2] E.Amaldi、P.Belotti和R.Hauser，最大可行子系统问题的随机松弛方法，《整数规划和组合优化》，计算讲义。科学。3509，柏林施普林格出版社，2005年，第249-264页，https://doi.org/10.1007/11496915_19。 ·Zbl 1119.65327号
[3] E.Amaldi和V.Kann，寻找线性关系的最大可行子系统的复杂性和逼近性，理论。计算。科学。，147（1995），第181-210页·Zbl 0884.68093号
[4] Z.-Z.Bai和W.-T.Wu，关于求解大型稀疏线性系统的贪婪随机Kaczmarz方法，SIAM J.Sci。计算。，40（2018年），第A592-A606页·Zbl 1383.65024号
[5] Z.-Z.Bai和W.-T.Wu，关于求解大型稀疏线性系统的松弛贪婪随机Kaczmarz方法，应用。数学。莱特。，83（2018），第21-26页·Zbl 1524.65191号
[6] I.Barrodale和F.D.Roberts，离散（ell_1）线性近似的改进算法，SIAM J.Numer。分析。，10（1973年），第839-848页·Zbl 0266.65016号
[7] P.Bloomfield和W.Steiger，最小绝对偏差曲线拟合，SIAM J.Sci。统计计算。，1（1980年），第290-301页·Zbl 0471.65007号
[8] L.Bottou，《随机梯度下降的大规模机器学习》，载于《COMPSTAT期刊》，施普林格，纽约，2010年，第177-186页·Zbl 1436.68293号
[9] L.Bottou、F.E.Curtis和J.Nocedal，《大规模机器学习的优化方法》，SIAM Rev.，60（2018），第223-311页·Zbl 1397.65085号
[10] S.Boyd和L.Vandenberghe，《凸优化》，剑桥大学出版社，英国剑桥，2004年·Zbl 1058.90049号
[11] E.Candes、M.Rudelson、T.Tao和R.Vershynin，通过线性规划进行错误纠正，收录于《FOCS学报》，IEEE，2005年，第668-681页。
[12] E.Candes和T.Tao，《线性规划解码》，arXiv:math/05023272005年·Zbl 1264.94121号
[13] Y.Censor，大型和稀疏系统的行操作方法及其应用，SIAM Rev.，23（1981），第444-466页，https://doi.org/10.1137/1023097。 ·Zbl 0469.65037号
[14] Y.Censor、P.P.B.Eggermont和D.Gordon，《不一致系统的Kaczmarz方法中的强欠松弛》，Numer。数学。，41（1983年），第83-92页，https://doi.org/10.1007/BF01396307。 ·Zbl 0489.65023号
[15] X.Chen和A.Powell，随机测量下Kaczmarz算法的几乎必然收敛性，J.Fourier Ana。申请。，（2012），第1-20页，http://dx.doi.org/10.1007/s00041-012-9237-2。 ·兹比尔1268.65042
[16] Y.Chi、Y.Li、H.Zhang和Y.Liang，《中值截断梯度下降：信号估计的稳健和可扩展非凸方法》，载于《压缩传感及其应用》，施普林格，纽约，2019年，第237-261页·Zbl 1450.94011号
[17] J.A.De Loera、J.Haddock和D.Needell，线性可行性的采样Kaczmarz-Motzkin算法，SIAM J.Sci。计算。，39（2017），第S66-S87页·Zbl 1373.90070
[18] O.Dekel、R.Gilad-Bachrach、O.Shamir和L.Xiao，使用微型支架的最佳分布式在线预测，J.Mach。学习。研究，13（2012），第165-202页·Zbl 1283.68404号
[19] K.Du，W.Si和X.Sun，解最小二乘问题的伪逆随机扩展块Kaczmarz，预印本，arXiv:2001.041792020·Zbl 1457.65020号
[20] P.P.B.Eggermont、G.T.Herman和A.Lent，大型分区线性系统的迭代算法及其在图像重建中的应用，线性代数应用。，40（1981年），第37-67页·Zbl 0466.65021号
[21] Y.C.Eldar和G.Kutyniok，《压缩传感：理论与应用》，剑桥大学出版社，英国剑桥，2012年。
[22] T.Elfving，一致和不一致线性方程组的块迭代方法，数值。数学。，35（1980），第1-12页·Zbl 0416.65031号
[23] H.G.Feichtinger、C.Cenker、M.Mayer、H.Steier和T.Strohmer，使用有限余维仿射子空间的POCS方法的新变体，应用于不规则采样，载于P.Soc.Photo-Opt。Ins公司。第1818卷，国际光学和光子学会，1992年，第299-311页。
[24] H.G.Feichtinger和T.Strohmer，基于Kaczmarz的矩形格并集非周期采样方法，载《1995年SampTA会议录：1995年采样理论与应用研讨会》，1995年，第32-37页。
[25] S.Foucart和H.Rauhut，《压缩传感数学导论》，Springer，纽约，2013年·Zbl 1315.94002号
[26] J.E.Gentle、V.Sposito和S.C.Narula，《无约束（l_1）简单线性回归算法》，J.Comp。统计数据分析。，6（1988年），第335-339页·Zbl 0726.62102号
[27] R.Gordon、R.Bender和G.T.Herman，三维电子显微镜和X射线摄影的代数重建技术（ART），J.Theoret。生物学，29（1970），第471-496页，https://doi.org/10.1016/0022-5193(70)90109-8.
[28] J.Haddock和A.Ma，《贪婪的作品：采样的改进分析》，预印本，arXiv:1912.035442019年·Zbl 07368791号
[29] J.Haddock和D.Needell，具有任意大稀疏腐蚀的线性系统的随机投影方法，SIAM J.Sci。计算。，41（2018），第S19-S36页·Zbl 1436.65031号
[30] J.Haddock和D.Needell，损坏线性系统的随机预测，AIP Conf.Proc。，1978年，（2018年），470071·Zbl 1436.65031号
[31] J.Haddock和D.Needell，《关于不一致线性系统的Motzkin方法》，BIT，59（2019），第387-401页·Zbl 1435.65051号
[32] J.Haddock、D.Needell、E.Rebrova和W.Swartworth，线性方程组破坏系统的随机梯度下降方法，《信息科学与系统会议论文集》，2020年。
[33] M.Hanke和W.Niethammer，关于不相容线性系统的Kaczmarz方法的加速，线性代数应用。，130（1990），第83-98页，https://doi.org/10.1016/0024-3795（90）90207-S·Zbl 0708.65033号
[34] P.C.Hansen，MATLAB 7.3正则化工具4.0版，数值。《算法》，46（2007），第189-194页·Zbl 1128.65029号
[35] G.T.Herman和L.B.Meyer，代数重建技术可以提高计算效率（正电子发射层析成像应用），IEEE Trans。《医学成像》，12（1993），第600-609页。
[36] N.Jamil、X.Chen和A.Cloninger，希尔德雷思算法及其在用户界面布局软约束中的应用，J.Compute。申请。数学。，288（2015），第193-202页·Zbl 1326.65068号
[37] B.Jarman和D.Needell，《QuantileRK：用损坏的、有噪声的数据求解大型线性系统》，预印本，arXiv:2108.023042021。
[38] S.Kaczmarz，Angena¨herte auflo¨sung von systemen linearer gleichungen，公牛。国际。阿卡德。波隆。科学。Lettres A，35（1937），第335-357页。
[39] K.Kawaguchi和H.Lu，有序SGD：经验风险最小化的新随机优化框架，《国际人工智能与统计会议论文集》，2020年，第669-679页。
[40] A.S.Kržic和D.Sers \780,1，使用递归降维最小化，信号处理。，151（2018），第119-129页。
[41] Y.Li和G.R.Arce，最小绝对偏差回归的最大似然法，Eurasip。J.高级信号。Pr.，2004（2004），948982。
[42] Y.Li，Y.Chi，H.Zhang，Y.Liang，通过中点梯度下降法恢复任意离群值的非凸低阶矩阵，Inform。推理，9（2020），第289-325页·Zbl 1471.62376号
[43] M.Lichman，UCI机器学习库，http://archive.ics.uci.edu/ml, 2013.
[44] N.Loizou和P.Richtaárik，《重新审视随机流言算法：一般框架、收敛速度和新型块和加速协议》，预印本，arXiv:1905.086452019年·Zbl 1489.65053号
[45] M.S.Morshed、M.S.Islam和M.Noor-E-Alam，《关于线性可行性问题随机投影方法的推广和加速》，预印本，arXiv:2002.073212020年。
[46] M.S.Morshed、M.S.Islam和M.Noor-E-Alam，线性可行性问题的加速采样Kaczmarz-Motzkin算法，J.Global Optim。，（2019年），第1-22页·兹比尔1442.90123
[47] T.S.Motzkin和I.J.Schoenberg，线性不等式的松弛方法，Canad。数学杂志。，6（1954年），第393-404页·Zbl 0055.35002号
[48] F.Natterer，《计算机断层成像的数学》，B.G.Teubner，斯图加特，1986年·Zbl 0617.92001号
[49] D.Needell，噪声线性系统的随机Kaczmarz解算器，BIT，50（2010），第395-403页·Zbl 1195.65038号
[50] D.Needell、N.Srebro和R.Ward，《随机梯度下降、加权采样和随机Kaczmarz算法》，数学。程序。，155（2016），第549-573页·Zbl 1333.65070号
[51] D.Needell和J.A.Tropp，《善意铺垫：随机块Kaczmarz方法分析》，线性代数应用。，441（2014），第199-221页·Zbl 1282.65042号
[52] J.Nutini、B.Sepehry、A.Virani、I.Laradji、M.Schmidt和H.Koepke，贪婪Kaczmarz算法的收敛速度，《UAI学报》，2016年。
[53] S.Petra和C.Popa，单投影Kaczmarz扩展算法，数值。《算法》，73（2016），第791-806页，https://doi.org/10.1007/s11075-016-0118-7。 ·Zbl 1376.65062号
[54] C.Popa，《含有相互正交行和列的块的块投影算法》，BIT，39（1999），第323-338页·兹比尔1126.65307
[55] C.Popa，一致最小二乘问题的快速Kaczmarz-Kovarik算法，韩国J.Comp。应用程序。数学。，8（2001），第9-26页·Zbl 0970.65036号
[56] E.Rebrova和D.Needell，Kaczmarz方法的块上高斯素描，Numer。《算法》，86（2021），第443-473页·Zbl 1456.65023号
[57] H.Robbins和S.Monro，《随机近似方法》，《数学年鉴》。统计师。22（1951年），第400-407页·兹比尔0054.05901
[58] M.Rudelson和R.Vershynin，高维分布线性图像的小球概率，国际数学。Res.不。IMRZ，2015（2015），第9594-9617页·Zbl 1330.60029号
[59] A.Savvides、C.-C.Han和M.B.Strivastava，传感器自组织网络中的动态细粒度定位，《移动计算和网络国际会议论文集》，2001年，第166-179页。
[60] E.Schlossmacher，《绝对偏差曲线拟合的迭代技术》，J.Amer。统计师。协会，68（1973），第857-859页·Zbl 0287.62038号
[61] M.I.Sezan和H.Stark，将先验矩信息纳入信号恢复和合成问题，J.Math。分析。申请。，122（1987），第172-186页·Zbl 0627.65133号
[62] O.Shamir和T.Zhang，《非光滑优化的随机梯度下降：收敛结果和最优平均方案》，《机器学习国际会议论文集》，2013年，第71-79页。
[63] T.Strohmer和R.Vershynin，指数收敛的随机Kaczmarz算法，J.Fourier Ana。申请。，15 (2009), 262. ·Zbl 1169.68052号
[64] R.Vershynin，《高维概率：数据科学应用导论》，剑桥大学。序列号。统计Pubab。数学。47，剑桥大学出版社，英国剑桥，2018年·Zbl 1430.60005号
[65] L.Wang、M.D.Gordon和J.Zhu，正则化最小绝对偏差回归和参数调整的有效算法，《国际数据挖掘会议论文集》，IEEE，2006年，第690-700页。
[66] G.Wesolowsky，最小绝对值回归问题的一种新下降算法：最小绝对值的新下降算法，Commu。统计师。模拟计算。，10（1981年），第479-491页·Zbl 0463.65096号
[67] J.Wright和Y.Ma，通过（ell^1）最小化进行密集误差校正，IEEE Trans。通知。《理论》，56（2010），第3540-3560页·Zbl 1366.94133号
[68] A.Zouzias和N.M.Freris，用于求解最小二乘的随机扩展Kaczmarz，SIAM J.矩阵分析。申请。，34（2013），第773-793页，https://doi.org/10.1137/120889897。 ·兹比尔1273.65053
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。