尼德姆Gazagnadou;马克·易卜拉欣;罗伯特·高尔。 RidgeSketch：基于草图的快速解算器，用于大规模脊回归。 （英语） 兹比尔1508.62001 SIAM J.矩阵分析。申请。 43，第3期，1440-1468（2022）. 小结：我们提出了解决大规模岭回归问题的草图和投影方法的新变体。首先，我们提出了一种新的动量替代方案，并提供了一个定理，表明它可以通过快速次线性的收敛速度。我们仔细地定义了在什么样的设置下，这个新的次线性速度比之前已知的没有动量的草图和项目的线性收敛速度更快。其次，我们考虑将草图和投影方法与新的现代草图绘制方法相结合，例如Count草图、SubCount草图（我们提出的一种新方法）和子采样的Hadamard变换。实验表明，当结合草图和投影方法时，（Sub）Count草图对稀疏数据非常有效，而标准Subsample草图对密集数据非常有效。事实上，我们表明，这些素描方法与我们的新动量方案相结合，即使与实际大规模数据上的共轭梯度法相比，也能产生具有竞争力的方法。相反，我们表明，尽管使用了快速哈达玛变换，但子采样哈达玛转换在这种情况下表现不好，最近提出的加速方案在实践中也没有很好的效果。为了支持我们的所有实验结果，并邀请社区验证和扩展我们的结果，我们还发布了一个开源软件包：RidgeSketch。我们用Python设计了这个面向对象的包，用于测试草图和项目方法，并对岭回归解算器进行基准测试。RidgeSketch是高度模块化的，新的绘制方法可以很容易地作为子类添加。我们在附录中提供了包的代码片段。 MSC公司： 62-04 统计相关问题的软件、源代码等 62J07型 岭回归；收缩估计器（拉索） 65K10码 数值优化和变分技术 65年20月 数值算法的复杂性和性能 90C06型 数学规划中的大尺度问题 90 C90 数学规划的应用 关键词：随机数值线性代数;草图和投影方法;随机草图绘制;随机坐标下降;动量;加快 软件：Scikit公司;科学Py;数字Py;LAPACK公司;蟒蛇;Blendenpik公司;Ridgesketch公司 PDF格式BibTeX公司 XML格式引用 \textit{N.Gazagnadou}等人，SIAM J.矩阵分析。申请。43，第3号，1440--1468（2022；Zbl 1508.62001） 全文： 内政部 arXiv公司 参考文献： [1] N.Ailon和B.Chazelle，快速Johnson-Lindenstraus变换和近似最近邻，SIAM J.Compute。，39（2009），第302-322页·Zbl 1185.68327号 [2] N.Ailon和E.Liberty，双BCH码上使用Rademacher系列的快速降维，离散计算。地理。，42（2009），第615-630页·Zbl 1180.94083号 [3] E.Anderson、Z.Bai、C.Bischof、S.Blackford、J.D.J.Dongarra、J.D.Croz、A.Greenbaum、S.Hammarling、A.McKenney和D.Sorensen，《LAPACK用户指南》，第三版，SIAM，费城，1999年·Zbl 0934.65030号 [4] H.Avron、P.Maymounkov和S.Toledo，Blendenpik：增压LAPACK的最小二乘解算器，SIAM J.Sci。计算。，32（2010年），第1217-1236页，http://dx.doi.org/10.1137/090767911。 ·Zbl 1213.65069号 [5] Z.-Z.Bai和W.-T.Wu，关于求解大型稀疏线性系统的贪婪随机Kaczmarz方法，SIAM J.Sci。计算。，40（2018年），第A592-A606页·Zbl 1383.65024号 [6] C.Boutsidis和A.Gittens，通过子采样随机Hadamard变换改进的矩阵算法，SIAM J.矩阵分析。申请。，34（2013），第1301-1340页·Zbl 1286.65054号 [7] M.Charikar、K.Chen和M.Farach-Colton，《在数据流中发现常见项》，载于《第29届自动控制、语言和编程国际学术讨论会论文集》，Springer-Verlag，伦敦，2002年，第693-703页·Zbl 1057.68600号 [8] K.L.Clarkson和D.P.Woodruff，输入稀疏时间的低秩近似和回归，J.ACM，63（2017），第1-45页·Zbl 1426.65057号 [9] G.Cormode，《Count-min素描》，摘自《数据库系统百科全书》，施普林格，纽约，2009年，第511-516页，https://doi.org/10.1007/978-0-387-39940-9_87。 [10] G.Cormode和S.Muthukrishnan，《改进的数据流摘要：计数草图及其应用》，《算法》，55（2005），第58-75页·Zbl 1068.68048号 [11] J.A.De Loera、J.Haddock和D.Needell，线性可行性的采样Kaczmarz-Motzkin算法，SIAM J.Sci。计算。，39（2017），第S66-S87页·Zbl 1373.90070 [12] K.Du和H.Gao，最大加权残差Kaczmarz算法收敛速度的新理论估计，Numer。数学。理论方法应用。，12（2019年），第627-639页·Zbl 1449.65054号 [13] B.J.Fino和V.R.Algazi，快速Walsh-Hadamard变换的统一矩阵处理，IEEE Trans。《计算机》，25（1976），第1142-1146页·Zbl 0357.44004号 [14] G.H.Golub、P.C.Hansen和D.P.O'Leary，Tikhonov正则化和总最小二乘法，SIAM J.矩阵分析。申请。，21（1999），第185-194页·Zbl 0945.65042号 [15] R.Gower、F.Hanzely、P.Richtarik和S.Stich，《加速随机矩阵反演：更快二阶优化的一般理论和加速BFGS规则》，载于《神经信息处理系统进展》2018年第31期，第2292-2300页。 [16] R.M.Gower和P.Richtaárik，线性系统的随机迭代方法，SIAM J.Matrix Ana。申请。，36（2015），第1660-1690页·Zbl 1342.65110号 [17] R.M.Gower和P.Richtaárik，《求解线性系统的随机双重上升》，arXiv:1512.068902015年·Zbl 1342.65110号 [18] J.Haddock和A.Ma，《贪婪的作品：采样的改进分析》，Kaczmarz-Motzkin，SIAM J.Math。数据科学。，3（2021年），第342-368页·Zbl 07368791号 [19] M.R.Hestenes和E.Stiefel，求解线性系统的共轭梯度方法，国家标准局J.Res，49（1952）·Zbl 0048.09901号 [20] T.S.Jayram和D.P.Woodruff，Johnson-Lindenstraus变换的最佳边界和具有次恒误差的流问题，ACM Trans。《算法》，9（2013），第26:1-26:17页·兹比尔1301.68162 [21] W.Johnson和J.Lindenstrauss，《Lipschitz映射在Hilbert空间中的扩展》，载于《现代分析与概率会议》（纽黑文，CT，1982），康泰普。数学。26，AMS，普罗维登斯，RI，1984年，第189-206页·Zbl 0539.46017号 [22] M.S.Kaczmarz、Angena¨herte auflo¨sung von systemen linearer gleichungen、Bulletin International de l'Acadeámie Polonaise des Sciences et des Lettres。数学与自然科学类。Seírie A，《科学数学》，35（1937），第355-357页·Zbl 0017.31703号 [23] T.N.Krishnamurti，数值天气预报，年度。流体力学版次。，27（1995），第195-224页。 [24] Y.T.Lee和A.Sidford，《求解线性系统的高效加速坐标下降方法和更快算法》，载于2013年IEEE计算机科学基础年度研讨会论文集，第147-156页，https://doi.org/10.109/FOCS.2013.24。 [25] D.Leventhal和A.S.Lewis，线性约束的随机方法：收敛速度和条件，数学。操作。研究，35（2010），第641-654页，https://doi.org/10.1287/moor.1100.0456。 ·Zbl 1216.15006号 [26] J.Liu和S.J.Wright，加速随机Kaczmarz算法，数学。公司。，85（2016），第153-178页·Zbl 1327.65065号 [27] N.Loizou和P.Richtarik，随机梯度的动量和随机动量，牛顿，近点和子空间下降法，计算。最佳方案。申请。，77（2020），第653-710页·Zbl 1466.90065号 [28] A.Ma、D.Needell和A.Ramdas，随机扩展Gauss-Seidel和Kaczmarz方法的收敛性，SIAM J.矩阵分析。申请。，36（2015），第1590-1604页·Zbl 1327.65112号 [29] M.W.Mahoney，矩阵和数据的随机算法，Found。趋势马赫数。学习。，3（2011年），第123-224页·Zbl 1232.68173号 [30] M.S.Morshed、S.Ahmad和M.Noor-E-Alam，线性系统的随机最速下降方法：贪婪抽样和动量，arXiv:2012.130872020。 [31] M.S.Morshed、M.S.Islam和M.Noor-E-Alam，线性可行性问题的加速采样Kaczmarz-Motzkin算法，J.Global Optim。，77（2020），第361-382页·Zbl 1442.90123号 [32] M.S.Morshed和M.Noor-E-Alam，《线性可行性问题的草图和项目方法：贪婪抽样和动量》，arXiv:2012.029132020年。 [33] I.Necoara，《更快的随机块Kaczmarz算法》，SIAM J.矩阵分析。申请。，40（2019年），第1425-1452页·Zbl 1453.65074号 [34] F.Pedregosa、G.Varoqueaux、A.Gramfort、V.Michel、B.Thirion、O.Grisel、M.Blondel、P.Prettenhofer、R.Weiss、V.Dubourg、J.Vanderplas、A.Passos、D.Cournapeau、M.Brucher、M.Perrot和E.Duchesnay，SCIKIT-learn:Python中的机器学习，J.Mach。学习。Res.，12（2011），第2825-2830页·Zbl 1280.68189号 [35] S.Petra和C.Popa，单投影Kaczmarz扩展算法，数值。《算法》，73（2016），第791-806页·Zbl 1376.65062号 [36] M.Pilanci和M.Wainwright，具有严格保证的凸规划的随机草图，Proc。IEEE传输。通知。理论，61（2015），第5096-5115页·Zbl 1359.90097号 [37] M.Pilanci和M.J.Wainwright，《迭代Hessian草图：约束最小二乘的快速准确解近似》，J.Mach。学习。研究，17（2016），第1-33页·Zbl 1360.62400号 [38] B.T.Polyak，加速迭代法收敛的一些方法，苏联计算机。数学。数学。物理。，4（1964年），第1-17页·Zbl 0147.35301号 [39] P.Richtaárik和M.Takaáč，线性系统的随机重新格式化：算法和收敛理论，SIAM J.矩阵分析。申请。，41（2020），第487-524页·Zbl 1440.65045号 [40] G.Saunders、A.Gammerman和V.Vovk，双变量岭回归学习算法，第15届机器学习国际会议论文集，Morgan Kaufmann，加利福尼亚州旧金山，1998年，第515-521页。 [41] O.Sebbouh、R.M.Gower和A.Defazio，《关于随机重球方法的收敛性》，arXiv:2006.078672020年。 [42] S.Shalev-Shwartz和S.Ben-David，《理解机器学习：从理论到算法》，剑桥大学出版社，英国剑桥，2014年·Zbl 1305.68005号 [43] T.Strohmer和R.Vershynin，指数收敛的随机Kaczmarz算法，J.Fourier Ana。申请。，15（2009年），第262-278页·Zbl 1169.68052号 [44] J.A.Tropp，子样本随机Hadamard变换的改进分析，Adv.Adapt。数据分析。，3（2011年），第115-126页·Zbl 1232.15029号 [45] S.Tu、S.Venkataraman、A.C.Wilson、A.Gittens、M.I.Jordan和B.Recht，《Breaking locality accelerates block Gauss-Seidel》，《第34届机器学习国际会议论文集》，澳大利亚悉尼，2017年，第3482-3491页。 [46] S.Van Der Walt、S.C.Colbert和G.Varoquaux，《Numpy数组：高效数值计算的结构》，计算。科学。《工程》，13（2011），第22-30页。 [47] P.Virtanen，R.Gommers，T.E.Oliphant，M.Haberland，T.Reddy，D.Cournapeau，E.Burovski，P.Peterson，W.Weckesser，J.Bright等人，SCIPY 1.0：Python中科学计算的基本算法，《自然方法》，17（2020），第261-272页。 [48] V.Vovk，《实证推断中的内核岭回归》，Springer，纽约，2013年，第105-116页·Zbl 1325.62094号 [49] S.Wang、A.Gittens和M.W.Mahoney，Sketched ridge regression：优化视角、统计视角和模型平均。，J.马赫。学习。决议，18（2017），第218:1-218:50页·Zbl 1473.62253号 [50] F.Woolfe、E.Liberty、V.Rokhlin和M.Tygert，矩阵近似的快速随机算法，应用。计算。哈蒙。分析。，25（2008），第335-366页·Zbl 1155.65035号 [51] S.J.Wright，坐标下降算法，数学。程序。，151（2015），第3-34页·Zbl 1317.49038号 [52] R.Yuan、A.Lazaric和R.M.Gower，《纽顿-拉夫森草图》，arXiv:2006.121202020年·Zbl 1496.90112号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。