×
弗兰克·舍普费尔；德克·洛伦茨。

随机稀疏Kaczmarz方法的线性收敛性。 （英语） Zbl 1408.65038号

数学。程序。 173，编号1-2（A），509-536（2019）。
Kaczmarz方法已被证明是计算机层析成像的有效工具。它用于计算超定系统\（Ax=b\）情况下的最小二乘解，即找到\（\|Ax-b\|^2 \）的极小值。作者分析了稀疏Kaczmarz方法的一个随机变体，以恢复这种线性系统的稀疏解。他们证明了对于一致线性系统，随机Kaczmarz方法的迭代预计线性收敛，并导出了速率的显式估计（定理3.2）。此外，作者还表明，在有噪/不一致的情况下，迭代以与无噪情况相同的速率达到了噪声级顺序的错误阈值。证明了随机Bregman投影方法求解一般凸可行性问题的期望次线性收敛速度。详细介绍了算法：随机稀疏Kaczmarz方法、精确步长随机稀疏Kagzmarz算法和随机Bregman投影。数值实验证实了理论结果。
审核人：尼古拉·基尔科奇耶夫（普洛夫迪夫）

引用于20文件

MSC公司：

65千5 数值数学规划方法
90C25型 凸面编程
65层20 超定系统伪逆的数值解

关键词：

随机Kaczmarz方法；线性收敛；Bregman投影；稀疏解；分割可行性问题；误差界限

软件：

AIR工具；PDCO公司
PDF格式BibTeX公司 XML格式引用
\textit{F.Schöpfer}和\textit{D.A.Lorenz}，数学。程序。173，编号1--2（A），509--536（2019；Zbl 1408.65038）
全文： 内政部 arXiv公司

参考文献：

[1] Agaska，A.，Wang，C.，Lu，Y.M.：随机Kaczmarz算法：精确MSE分析和最佳采样概率。In:IEEE信号和信息处理全球会议（GlobalSIP）（2015）
[2] Alber，Y.，Butnariu，D.：自反Banach空间中解一致凸可行性问题的Bregman投影方法的收敛性。J.优化。理论应用。92(1), 33-61 (1997) ·Zbl 0886.90179号
[3] Bauschke，H.H.，Borwein，J.M.：关于解决凸可行性问题的投影算法。SIAM版本38（3），367-426（1996）·Zbl 0865.47039号
[4] Bauschke，H.H.，Borwein，J.M.：勒让德函数和随机Bregman投影方法。J.凸面分析。4(1), 27-67 (1997) ·Zbl 0894.49019号
[5] Bauschke，H.H.，Borwein，J.M.，Combettes，P.L.：Bregman单调优化算法。SIAM J.控制优化。42(2), 596-636 (2003) ·Zbl 1049.90053号
[6] Bauschke，H.H.，Borwein，J.M.，Li，W.：凸优化中的强锥壳交集性质、有界线性正则性、Jameson性质（G）和误差界。数学。程序。86(1), 135-160 (1999) ·Zbl 0998.90088号
[7] Brand，M.：薄奇异值分解的快速低阶修改。线性代数应用。415(1), 20-30 (2006) ·Zbl 1088.65037号
[8] Bregman，L.M.：寻找凸集公共点的松弛方法及其在凸规划问题求解中的应用。苏联计算。数学。数学。物理学。7, 200-217 (1967)
[9] Briskman，J.，Needell，D.：带不等式的Block-Kaczmarz方法。数学杂志。成像视觉。52(3), 385-396 (2015) ·Zbl 1327.65057号
[10] Burger，M.：反问题和偏微分方程中的Bregman距离。在：Hiriart Urruty，J.-B.，Korytowski，A.，Maurer，H.，Szymkat，M.（编辑）《数学建模、优化和最优控制进展》，第3-33页。斯普林格（2016）
[11] Byrne，C.：凸集上的迭代斜投影和分裂可行性问题。反向探测。18, 441-453 (2002) ·Zbl 0996.65048号
[12] Byrne，C.：信号处理和图像重建中一些迭代算法的统一处理。反向探测。20, 103-120 (2004) ·Zbl 1051.65067号
[13] Byrne，C.，Censor，Y.：使用多个Bregman投影最小化邻近函数，应用于分割可行性和Kullback-Leibler距离最小化。安·Oper。第105、77-98号决议（2001年）·Zbl 1012.90035号
[14] Cai，J.-F.，Candès，E.J.，Shen，Z.：矩阵补全的奇异值阈值算法。SIAM J.Optim公司。20(4), 1956-1982 (2010) ·Zbl 1201.90155号
[15] Cai，J.-F.，Osher，S.，Shen，Z.：\[\ell_1\]线性化Bregman迭代的收敛性ℓ1-范数最小化。数学。计算。78, 2127-2136 (2009) ·Zbl 1198.65103号
[16] Candès，E.J.，Tao，T.：线性编程解码。IEEE传输。《信息论》51（12），4203-4215（2005）·Zbl 1264.94121号
[17] Censor，Y.，Elfving，T.：在产品空间中使用Bregman投影的多投影算法。数字。阿尔及利亚。8, 221-239 (1994) ·Zbl 0828.65065号
[18] Censor，Y.，Elfving，T.，Kopf，N.，Bortfeld，T.：多重集分裂可行性问题及其在反问题中的应用。反向探测。21, 2071-2084 (2005) ·Zbl 1089.65046号
[19] Chen，S.S.，Donoho，D.L.，Saunders，M.A.：通过基追踪进行原子分解。SIAM J.科学。计算。20(1), 33-61 (1998) ·Zbl 0919.94002号
[20] Chen，X.，Powell，A.M.：随机测量下Kaczmarz算法的几乎肯定收敛性。J.傅里叶分析。申请。18(6), 1195-1214 (2012) ·Zbl 1268.65042号
[21] Deutsch，F.，Hundal，H.：交替投影法的收敛速度，II。数学杂志。分析。申请。205(2), 381-405 (1997) ·Zbl 0890.65053号
[22] Elad，M.：稀疏和冗余表示：从理论到信号和图像处理应用。施普林格，纽约（2010）·兹比尔1211.94001
[23] Hansen，P.C.，Saxild-Hansen，M.：AIR工具——代数迭代重建方法的MATLAB包。J.计算。申请。数学。236(8), 2167-2178 (2012) ·Zbl 1241.65042号
[24] 霍夫曼，A.J.：关于线性不等式组的近似解。《国家研究杂志》。伯尔。站立。49(4), 263-265 (1952)
[25] Kaczmarz，S.：Angenäherte Auflösung von Systemen直系亲属Gleichungen。《国际学术期刊》，第35期，第355-357页（1937年）·兹标0017.31703
[26] Lai，M.J.，Yin，W.：增强型\[\ell_1\]ℓ1和具有全局线性收敛算法的核范数模型。SIAM J.成像科学。6(2), 1059-1091 (2013) ·Zbl 1279.68329号
[27] Leventhal，D.，Lewis，A.S.：线性约束的随机方法：收敛速度和条件。数学。操作。第35（3）号决议，641-654（2010年）·Zbl 1216.15006号
[28] Lorenz，D.A.，Schöpfer，F.，Wenger，S.：通过分裂可行性问题的线性化Bregman方法：分析和推广。SIAM J.成像科学。7(2), 1237-1262 (2014) ·Zbl 1298.68287号
[29] Lorenz，D.A.、Wenger，S.、Schöpfer，F.、Magnor，M.：用于在线压缩传感的稀疏Kaczmarz解算器和线性化Bregman方法。2014年IEEE图像处理国际会议（ICIP），第1347-1351页。IEEE（2014）
[30] Mansour，H.，Yilmaz，O.：一致线性系统稀疏解的快速随机Kaczmarz算法。arXiv预印arXiv:1305.3803（2013）
[31] Needell，D.：噪声线性系统的随机Kaczmarz解算器。位数字。数学。50(2), 395-403 (2010) ·Zbl 1195.65038号
[32] Needell，D.、Srebro，N.、Ward，R.：随机梯度下降、加权采样和随机Kaczmarz算法。数学。程序。155(1), 549-573 (2016) ·Zbl 1333.65070号
[33] Needell，D.，Tropp，J.A.：善意铺垫：随机区组Kaczmarz方法分析。线性代数应用。441, 199-221 (2014) ·Zbl 1282.65042号
[34] Nesterov，Y.：坐标下降法在大规模优化问题上的效率。SIAM J.Optim公司。22(2), 341-362 (2012) ·Zbl 1257.90073号
[35] Petra，S.：随机稀疏块Kaczmarz作为随机双块坐标下降。Anale Stinitifice Ale Universitatii Ovidius Constanta-Seria Matematica阿勒学院23（3），129-149（2015）·Zbl 1349.65194号
[36] Recht，B.，Fazel，M.，Parrilo，P.A.：通过核范数最小化保证线性矩阵方程的最小秩解。SIAM版本52（3），471-501（2010）·Zbl 1198.90321号
[37] Richtárik，P.，Takáć，M.：最小化复合函数的随机块坐标下降方法的迭代复杂性。数学。程序。144(1-2), 1-38 (2014) ·Zbl 1301.65051号
[38] Robinson，S.M.：多面体多函数的一些连续性。数学。程序。研究14，206-214（1981）·Zbl 0449.90090号
[39] Rockafellar，R.T.，Wets，R.J.-B.：变异分析。柏林施普林格出版社（2009）·Zbl 0888.49001号
[40] Schöpfer，F.：多面体规范的精确正则化。SIAM J.Optim公司。22(4), 1206-1223 (2012) ·兹比尔1263.90060
[41] Schöpfer，F.：限制强凸函数无约束最小化的下降方法的线性收敛性。SIAM J.Optim公司。26(3), 1883-1911 (2016) ·Zbl 1348.65094号
[42] Schöpfer，F.，Schuster，T.，Louis，A.K.：解决Banach空间中分裂可行性问题的迭代正则化方法。反向探测。24(5), 055008 (2008) ·Zbl 1153.46308号
[43] Strohmer，T.，Vershynin，R.：指数收敛的随机Kaczmarz算法。J.傅里叶分析。申请。15(2), 262-278 (2009) ·Zbl 1169.68052号
[44] Wang，M.，Bertsekas，D.P.：具有随机约束投影的随机一阶方法。SIAM J.Optim公司。26(1), 681-717 (2016) ·Zbl 1333.90098号
[45] Yin，W.：线性化Bregman方法的分析和推广。SIAM J.成像科学。3(4), 856-877 (2010) ·Zbl 1211.68491号
[46] Zhang，H.，Hui Cai，J.F.，Cheng，L.，Zhu，J.：精确矩阵补全和稳健主成分分析的强凸规划。反向探测。成像6（2），357-372（2012）·Zbl 1252.15042号
[47] Zhang，H.，Cheng，L.：限制强凸性及其在凸优化中梯度型方法收敛性分析中的应用。最佳方案。莱特。9(5), 961-979 (2015) ·Zbl 1350.90029号
[48] 赵，J.，杨，Q.：分裂可行性问题的几种解决方法。反向探测。21, 1791-1799 (2005) ·Zbl 1080.65035号
[49] Zouzias，A.，Freris，N.M.：求解最小二乘的随机扩展Kaczmarz。SIAM J.矩阵分析。申请。34(2), 773-793 (2013) ·Zbl 1273.65053号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。