帕斯·芬克·舒斯廷;哈伊姆·艾夫伦 半无限线性回归及其应用。 （英语） Zbl 07511019号 SIAM J.矩阵分析。申请。 43，第1号，479-511（2022）. 摘要：有限线性最小二乘是数值线性代数的核心问题之一，在科学和工程领域有着无数的应用。因此，关于求解线性最小二乘问题的算法，有着丰富而持续的文献。在本文中，我们探索了一种变体，其中系统的矩阵具有一个无限维（即，它是一个拟矩阵）。我们将这种问题称为半无限线性回归问题。如我们所示，半无限情况在一些应用中出现，例如监督学习和函数近似，并允许对现有算法进行新的解释。我们对半无限线性回归进行了严格的算法研究。为此，我们给出了处理拟矩阵的形式化框架，并将为有限问题设计的几种算法推广到无限情况。最后，我们建议使用各种采样方法来获得近似解。 MSC公司： 68瓦20 随机算法 68周25 近似算法 65平方英尺 线性系统和矩阵反演的直接数值方法 65层10 线性系统的迭代数值方法 关键词：半infinite线性回归;最小二乘法;拟矩阵;切布芬;取样 软件：CRAIG公司;LSMR公司;Blendenpik公司;LSRN（LSRN）;LSQR（LSQR） PDF格式BibTeX公司 XML格式引用 \textit{P.F.Shustin}和\textit{H.Avron}，SIAM J.矩阵分析。申请。43，第1号，479--511（2022；Zbl 07511019） 全文： 内政部 arXiv公司 参考文献： [1] H.Avron、K.L.Clarkson和D.P.Woodruff，使用草图和预处理进行更快的核岭回归，SIAM J.Matrix。分析。申请。，38（2017），第1116-1138页·Zbl 1379.65008号 [2] H.Avron、K.L.Clarkson和D.P.Woodruff，《近似、随机化和组合优化中正则化数据拟合的夏普界限》。算法和技术（APPROX/RANDOM 2017），K.Jansen、J.D.P.Rolim、D.Williamson和S.S.Vempala，eds.，LIPIcs Leibniz Int.Proc。通知。，81，Wadern Germany，2017，27，https://doi.org/10.4230/LIPIcs.APPROX-RANDOM.2017.27。 ·Zbl 1471.62408号 [3] H.Avron、M.Kapralov、C.Musco、C.Musco、A.Velingker和A.Zandieh，《核岭回归的随机傅里叶特征：近似界和统计保证》，第34届机器学习国际会议论文集，第70卷，国际机器学习学会，宾夕法尼亚州斯特鲁兹堡，2017年，第253-262页·Zbl 1434.94043号 [4] H.Avron、M.Kapralov、C.Musco、C.Musco、A.Velingker和A.Zandieh，《用简单傅里叶变换重建信号的通用采样方法》，载于《第51届ACM SIGACT年度计算理论研讨会论文集》，ACM，纽约，2019年，第1051-1063页·Zbl 1434.94043号 [5] H.Avron、P.Maymounkov和S.Toledo，Blendenpik：增压LAPACK的最小二乘解算器，SIAM J.Sci。计算。，32（2010年），第1217-1236页，https://doi.org/10.1137/090767911。 ·Zbl 1213.65069号 [6] J.Batson、D.A.Spielman和N.Srivastava，《Twice-Ramanujan稀疏化器》，SIAM Rev.，56（2014），第315-334页，https://doi.org/10.1137/10949117。 ·Zbl 1311.05108号 [7] Z.Battles，连续函数的数值线性代数，牛津大学博士论文，牛津，2005年。 [8] Z.Battles和L.N.Trefethen，MATLAB对连续函数和运算符的扩展，SIAM J.Sci。计算。，25（2004），第1743-1770页·兹比尔1057.65003 [9] P.Borwein和T.Erdélyi，多项式和多项式不等式，Grad。数学课文。纽约斯普林格161号，1995年·Zbl 0840.26002号 [10] K.L.Clarkson、P.Drineas、M.Magdon-Ismail、M.W.Mahoney、X.Meng和D.P.Woodruff，《快速柯西变换和快速稳健线性回归》，SIAM期刊计算。，45（2016），第763-810页，https://doi.org/10.1137/10963698。 ·Zbl 1342.68352号 [11] A.Cohen、M.A.Davenport和D.Leviatan，《关于最小二乘近似的稳定性和准确性》，Found。计算。数学。，13（2013），第819-834页·Zbl 1276.93086号 [12] A.Cohen和G.Migliorati，最优加权最小二乘法，SMAI J.计算。数学。，3（2017年），第181-203页·Zbl 1416.62177号 [13] M.B.Cohen、C.Musco和C.Musco.，《通过岭杠杆得分抽样进行输入稀疏时间低阶近似》，载于《第二十八届ACM-SIAM离散算法研讨会论文集》，SIAM，费城，2017年，第1758-1777页·Zbl 1410.68399号 [14] F.Cucker和S.Smale，《学习的数学基础》，布尔。阿默尔。数学。Soc.，39（2002），第1-49页·Zbl 0983.68162号 [15] C.de Boor，秩、基和维数（教学）的另一种方法，线性代数应用。，146（1991），第221-229页·Zbl 0724.15003号 [16] P.Drineas、M.W.Mahoney、S.Muthukrishnan和T.SarloíS，《快速最小二乘近似法》，数值。数学。，117（2011），第219-249页，https://doi.org/10.1007/s00211-010-0331-6。 ·Zbl 1218.65037号 [17] A.El Alaoui和M.W.Mahoney，《具有统计保证的快速随机核方法》，预印本，arXiv:1411.03062014年。 [18] D.C.-L.Fong和M.Saunders，LSMR:稀疏最小二乘问题的迭代算法，SIAM J.Sci。计算。，33（2011年），第2950-2971页·Zbl 1232.65052号 [19] M.A.Gilles和A.Townsend，微分算子Krylov子空间方法的连续类似物，SIAM J.Numer。分析。，57（2019），第899-924页·Zbl 1411.65047号 [20] G.Golub和W.Kahan，计算矩阵的奇异值和伪逆，J.SIAM Ser。B数字。分析。，2（1965年），第205-224页·Zbl 0194.18201号 [21] A.Gonen、F.Orabona和S.Shalev-Shwartz，使用草图预处理SVRG求解岭回归。机器。学习。研究（PMLR），48（2016），第1397-1405页，http://proceedings.mlr.press/v48/gonen16.html。 [22] B.Hashemi和Y.Nakatsukasa，《关于三元函数的谱问题》，BIT，58（2018），第981-1008页·Zbl 06989586号 [23] R.Johnson和T.Zhang，使用预测方差减少加速随机梯度下降，摘自《神经信息处理系统进展》，Curran Associates，Red Hooks，NY，2013年，第315-323页。 [24] N.Kamel、I.Kajo和Y.Ruichek，《利用奇异值分解进行视觉周期估计》，J.Math。《成像视觉》，第61期（2019年），第1135-1153页·Zbl 1468.68253号 [25] K.Kandasamy、M.Al-Shedivat和E.P.Xing，《通过连续矩阵的谱分解学习具有非参数发射的HMM》，《神经信息处理系统进展》，第29卷，D.Lee、M.Sugiyama、U.Luxburg、I.Guyon和R.Garnett编辑，Curran Associates，纽约红钩，2017，https://proceedings.neurips.cc/paper/2016/file/afe434653a898da20044041262b3ac74-paper.pdf。 [26] Y.Koyano、K.Yatabe和Y.Oikawa，用于分析麦克风阵列的无限维SVD，2017年IEEE声学、语音和信号处理国际会议（ICASSP），IEEE，新泽西州皮斯卡塔韦，2017，第176-180页。 [27] Y.T.Lee和A.Sidford，《求解线性系统的高效加速坐标下降方法和快速算法》，摘自2013年IEEE第54届计算机科学基础年会，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2013年，第147-156页，https://doi.org/10.109/FOCS.2013.24。 [28] X.Meng，M.A.Saunders和M.W.Mahoney，LSRN:强超定或欠定系统的并行迭代求解器，SIAM J.Sci。计算。，36（2014），第C95-C118页，https://doi.org/10.1137/120866580。 ·Zbl 1298.65053号 [29] Y.Nesterov，凸优化入门讲座：基础课程，应用。最佳方案。87，斯普林格，波士顿，2003年·Zbl 1086.90045号 [30] P.Nevai，Geáza Freud，正交多项式和Christoffel函数。案例研究，《J.近似理论》，48（1986），第3-167页·Zbl 0606.42020年 [31] S.Olver，振荡积分的预处理GMRES。技术报告NA-08/19，牛津大学计算实验室，牛津大学，牛津，2008年。 [32] S.Olver，微分算子的GMRES，SIAM J.Numer。分析。，47（2009），第3359-3373页，https://doi.org/10.1137/080724964。 ·Zbl 1202.65036号 [33] S.Olver，振荡积分的移位GMRES，数值。数学。，114（2010），第607-628页·Zbl 1189.65049号 [34] C.C.Paige和M.A.Saunders，LSQR:稀疏线性方程组和稀疏最小二乘的算法，ACM Trans。数学。《软件》，8（1982），第43-71页·Zbl 0478.65016号 [35] E.Pauwels、F.Bach和J.-P.Vert，《使用正规Christoffel函数关联杠杆得分和密度》，NIPS2018，Curran Associates，Red Hook，NY，2018年。 [36] M.Pilanci和M.J.Wainwright，《迭代Hessian草图：约束最小二乘的快速准确解近似》，J.Mach。学习。研究，17（2016），第1842-1879页·Zbl 1360.62400号 [37] A.Rahimi和B.Recht，《大规模内核机器的随机特征》，摘自《神经信息处理系统的进展》，施普林格出版社，柏林，2008年，第1177-1184页。 [38] V.Rokhlin和M.Tygert，超定线性最小二乘回归的快速随机算法，Proc。美国国家科学院。科学。，105（2008），第13212-13217页，https://doi.org/10.1073/pnas.0804869105。 ·Zbl 1513.62144号 [39] B.Scho¨lkopf、R.Herbrich和A.J.Smola，《广义代表定理》，施普林格出版社，柏林，2001年，第416-426页，https://doi.org/10.1007/3-540-44581-1_27。 ·Zbl 0992.68088号 [40] P.F.Shustin和H.Avron，高斯过程回归的Gauss-Legendre特征，预印本，arXiv:2101.011372021。 [41] G.Stewart，《尾注前往毕业生学校》，SIAM，费城，1998年，https://doi.org/10.1137/1.9781611971422。 ·兹伯利0898.65001 [42] V.Totik，实线上一般测度的Christoffel函数的渐近性，J.Anal。数学。，81（2000），第283-303页·Zbl 0966.42017号 [43] A.Townsend和L.N.Trefethen，矩阵分解的连续类似物，Proc，A，471（2015），20140585·Zbl 1372.65095号 [44] L.N.Trefethen，拟矩阵的Householder三角化，IMA J.Numer。分析。，30（2010年），第887-897页，https://doi.org/10.1093/imanum/drp018。 ·Zbl 1202.65049号 [45] L.N.Trefethen和D.Bau III，《数值线性代数》，暹罗，费城，1997年·Zbl 0874.65013号 [46] J.A.Tropp，《矩阵集中不等式导论》，Found。趋势马赫，学习。，8（2015），第1-230页，https://doi.org/10.1561/22000048。 ·Zbl 1391.15071号 [47] D.P.Woodruff，素描作为数字线性代数的工具，发现。趋势理论。计算。科学。，10（2014），第1-157页，https://doi.org/10.1561/0400000060。 ·Zbl 1316.65046号 [48] L·肖和T·张，带逐步方差缩减的近似随机梯度法，SIAM J.Optim。，24（2014），第2057-2075页·Zbl 1321.65016号 此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。