罗伯特·高尔（Robert M.Gower）。;彼得·里奇塔里克 线性系统的随机迭代方法。 （英语） Zbl 1342.65110号 SIAM J.矩阵分析。申请。 36，第4期，1660-1690（2015）. 摘要：我们开发了一种新的、基本的、出奇简单的随机迭代方法，用于求解一致线性系统。我们的方法有六种不同但等效的解释：草图和投影、约束和近似、随机相交、随机线性解算、随机更新和随机不动点。通过改变它的两个参数——正定矩阵（定义几何）和随机矩阵（在每次迭代中以独立和相同的分布方式采样），我们恢复了一系列著名算法作为特殊情况，包括随机Kaczmarz方法、随机Newton方法、，随机坐标下降法和随机高斯追踪法。我们自然也会使用块和重要性抽样来获得所有这些方法的变体。然而，我们的方法允许更广泛地选择这两个参数，这导致了许多新的特定方法。我们在一个定理中证明了期望误差范数的指数收敛性，由此可以得到已知变量的现有复杂性结果。然而，我们也给出了预期迭代的演化的精确公式，这使我们能够给出收敛速度的下限。 引用于2评论引用于93文件 MSC公司： 65层10 线性系统的迭代数值方法 15A06号 线性方程组（线性代数方面） 65年20月 数值算法的复杂性和性能 65年第68季度 算法和问题复杂性分析 68瓦20 随机算法 68瓦40 算法分析 15B52号 随机矩阵（代数方面） 65N75型 涉及偏微分方程边值问题的概率方法、粒子方法等 90C20个 二次规划 关键词：线性系统;随机方法;迭代法;随机Kaczmarz;随机牛顿;随机坐标下降;随机追踪;随机不动点 软件：伦敦银行支持向量机;GMRF库;CVX公司;Matrix市场 PDF格式BibTeX公司 XML格式引用 \textit{R.M.Gower}和\textit{P.Richtárik}，SIAM J.矩阵分析。申请。36，第4号，1660--1690（2015；Zbl 1342.65110） 全文： 内政部 arXiv公司 参考文献： [1] S.Bellavia，{它是一种不精确的内点方法}，J.Optim。理论应用。，96（1998），第109-121页·Zbl 0897.90182号 [2] Y.Bengio、O.Delalleau和N.Le Roux，《半监督学习》，O.Chapelle、B.Scho¨lkopf和A.Zien主编，麻省理工学院出版社，马萨诸塞州剑桥，2006年，第193-216页。 [3] R.F.Boisvert、R.Pozo、K.Remington、R.F.Barrett和J.J.Dongarra，{矩阵市场：测试矩阵集合的网络资源}，收录于《数值软件的质量：评估和增强》，R.F.Baisvert主编，查普曼和霍尔出版社，伦敦，1997年，第125-137页。 [4] Y.Censor，《大型稀疏系统的行操作方法及其应用》，SIAM Rev.，23（1981），第444-466页·Zbl 0469.65037号 [5] C.-C.Chang和C.-J.Lin，{it LIBSVM：支持向量机库}，ACM Trans。智力。系统。技术。，2（2011年），第1-27页。 [6] L.Dai、M.Soltanalian和K.Pelckmans，《关于随机Kaczmarz算法》，IEEE信号处理。莱特。，21（2014），第330-333页。 [7] R.S.Dembo、S.C.Eisenstat和T.Steihaug，｛\it Inexact Newton methods｝，SIAM J.Numer。分析。，19（1982），第400-408页·Zbl 0478.65030号 [8] J.W.Demmel，{it数值分析问题困难的概率}，数学。公司。，50（1988），第449-480页·Zbl 0657.65066号 [9] P.Drineas、M.W.Mahoney、S.Muthukrishnan和T.SarloíS，{快速最小二乘近似}，数值。数学。，117（2011），第219-249页·Zbl 1218.65037号 [10] A.Edelman，{关于标度条件数的分布}，数学。公司。，58（1992），第185-190页·Zbl 0745.15012号 [11] S.C.Eisenstat和H.F.Walker，《用不精确牛顿法选择强迫项》，SIAM J.Sci。计算。，17（1996），第16-32页·Zbl 0845.65021号 [12] O.Fercoq和P.Richtaárik，{加速、平行和近端坐标下降}，SIAM J.Optim。，25（2015），第1997-2023页·Zbl 1327.65108号 [13] J.Gondzio，{凸二次规划非精确可行内点方法的收敛性分析}，SIAM J.Optim。，23（2013），第1510-1527页·Zbl 1286.65075号 [14] M.Grant和S.Boyd，{\it CVX:Matlab软件用于约束凸编程}，2.1版\burlhttp://cvxr.com/cvx（2014年3月）。 [15] M.R.Hestenes和E.Stiefel，《求解线性系统的共轭梯度方法》，J.Research Nat.Bur。《标准》，49（1952），第409-436页·Zbl 0048.09901号 [16] M.S.Kaczmarz，{it Angena¨herte Auflo¨sung von Systemen linearer Gleichungen}，《国际科学通报》。数学与自然科学类。Seírie A，《科学数学》，35（1937），第355-357页。 [17] C.T.Kelley，{线性和非线性方程的迭代方法}，前沿应用。数学。16，SIAM，费城，1995年·Zbl 0832.65046号 [18] Y.T.Lee和A.Sidford，{求解线性系统的高效加速坐标下降方法和快速算法}，第54届IEEE计算机科学基础研讨会论文集，2013年，第147-156页。 [19] D.Leventhal和A.S.Lewis，{线性约束的随机方法：收敛速度和条件}，数学。操作。研究，35（2010），第641-654页·Zbl 1216.15006号 [20] J.Liesen和Z.Strakos，《克里洛夫子空间方法：原理与分析》，牛津大学出版社，英国牛津，2014年·兹比尔1307.65001 [21] A.Ma、D.Needell和A.Ramdas，{随机扩展Gauss-Seidel和Kaczmarz方法的收敛性}，SIAM J.矩阵分析。申请。，36（2015），第1590-1604页·Zbl 1327.65112号 [22] D.Needell，噪声线性系统的随机Kaczmarz解算器，BIT，50（2010），第395-403页·Zbl 1195.65038号 [23] D.Needell和J.A.Tropp，｛\it Paved with good intentity:Analysis of A randomic block Kaczmarz method｝，线性代数应用。，441（2012），第199-221页·Zbl 1282.65042号 [24] D.Needell，R.Zhao和A.Zouzias，{求解最小二乘的投影随机块Kaczmarz方法}，线性代数应用。，484（2015），第322-343页·Zbl 1330.65056号 [25] Y.Nesterov，{凸函数的随机梯度-自由最小化}，技术报告，ECORE，比利时卢浮天主教大学，2011年·Zbl 1380.90220号 [26] P.Oswald和W.Zhou，{Hilbert空间框架下Kaczmarz型方法的收敛性分析}，线性代数应用。，478（2015），第131-161页·Zbl 1312.65051号 [27] C.C.Paige和M.A.Saunders，{稀疏线性方程组的解}，SIAM J.Numer。分析。，第12页（1975年），第617-629页·Zbl 0319.65025号 [28] Z.Qu和P.Richtaírik，{\it任意采样坐标下降I:算法和复杂性}，预印本，\burlalthttp://arxiv.org/abs/1412.8060arXiv:1412.8060, 2014. ·兹比尔1365.90205 [29] Z.Qu、P.Richtaírik、M.Takaíč和O.Fercoq，{\it SDNA:经验风险最小化的随机双牛顿上升}，预印本，http://arxiv.org/abs/1502.02268v1arXiv:1502.02268 v1, 2015. [30] A.Ramdas，{线性方程组的行与列-随机Kaczmarz或坐标下降？}，预印本rlalthttp://arxiv.org/abs/1406.5295arXiv:1406.5295, 2014. [31] H.Robbins和S.Monro，《随机近似方法》，《数学年鉴》。统计人员。，22（1951年），第400-407页·Zbl 0054.05901号 [32] H.Rue和L.Held，{高斯马尔可夫随机场：理论和应用}，Monogr。统计师。申请。Probab，104，查普曼&霍尔，伦敦，2005年·邮编1093.60003 [33] Y.Saad，《稀疏线性系统的迭代方法》，第二版，SIAM，费城，2003年·Zbl 1031.65046号 [34] Y.Saad和M.H.Schultz，{it GMRES:求解非对称线性系统的广义最小残差算法}，SIAM J.Sci。统计师。计算。，7（1986年），第856-869页·Zbl 0599.65018号 [35] S.U.Stich，{带随机寻优的凸优化}，博士论文，苏黎世ETH，瑞士苏黎世，2014。 [36] S.U.Stich、C.L.Muöller和B.Gaörtner，{\it Variable metric random pursing}，《数学》。程序。，2015年，内政部：10.1007/s10107-015-0908-z·Zbl 1342.90137号 [37] S.U.Stich，C.L.Muöller，B.Gaörtner，{随机追踪凸函数的优化}，SIAM J.Optim。，23（2013），第1284-1309页·Zbl 1273.90155号 [38] T.Strohmer和R.Vershynin，{指数收敛的随机Kaczmarz算法}，J.Fourier Ana。申请。，15（2009年），第262-278页·Zbl 1169.68052号 [39] C.Wang和A.Xu，｛\it用于最大熵问题的不精确加速近端梯度方法和对偶Newton-CG方法｝，J.Optim。理论应用。，157（2013），第436-450页·Zbl 1267.90095号 [40] X.-Y.Zhao，D.Sun，和K.-C.Toh，{半定规划的Newton-CG增广拉格朗日方法}，SIAM J.Optim。，20（2010年），第1737-1765页·Zbl 1213.90175号 [41] A.Zouzias和N.M.Freris，{随机扩展Kaczmarz解最小二乘}，SIAM J.矩阵分析。申请。，34（2013），第773-793页·Zbl 1273.65053号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。