×
哈伊姆·艾夫伦；肯尼思·克拉克森。；伍德拉夫（David P.Woodruff）。

使用草图和预处理实现更快的核岭回归。 （英语） Zbl 1379.65008号

SIAM J.矩阵分析。申请。 38，第4期，1116-1138（2017）.
摘要：核岭回归是一种简单但功能强大的非参数回归技术，其计算量相当于求解线性系统。该系统通常密度大且高度不适。此外，矩阵的维数与数据点的数量相同，因此直接方法对于大规模数据集是不现实的。在本文中，我们提出了一种预处理技术来加速上述线性系统的求解。预条件器基于随机特征映射，例如随机傅里叶特征，这是最近出现的一种强大的技术，可以通过近似来加速和缩放基于核的方法的训练，例如核岭回归。然而，随机特征映射只提供了对核函数的粗略近似，因此，通过直接求解近似系统来提供最先进的结果需要大量的随机特征。我们表明，随机特征地图在形成预条件方面可以更加有效，因为在某些条件下，不需要太多的随机特征就足以产生有效的预条件。我们对我们的方法进行了实证评估，并表明它对于多达一百万个训练示例的数据集是非常有效的。

引用于16文件

MSC公司：

65立方厘米60 统计中的计算问题（MSC2010）
65F08个 迭代方法的前置条件
62G08号 非参数回归和分位数回归

关键词：

核岭回归；预处理；随机特征；非参数回归

软件：

布伦登皮克；LSRN（LSRN）；元素
PDF格式BibTeX公司 XML格式引用
\textit{H.Avron}等人，SIAM J.矩阵分析。申请。38，编号4116-1138（2017年；兹bl 1379.65008）
全文： 内政部 arXiv公司

参考文献：

[1] N.Ailon和E.Liberty，在双BCH码上使用Rademacher级数的快速降维，离散计算。地理。，42（2008），第615-630页·Zbl 1180.94083号
[2] A.E.Alaoui和M.W.Mahoney，{具有统计保证的快速随机核岭回归}，《神经信息处理系统学报》，2015年。
[3] H.Avron、K.L.Clarkson和D.P.Woodruff，《近似、随机化和组合优化》中正则化数据拟合的更尖锐界限。《算法与技术》，德国达格斯图尔Schloss Dagstuhl出版社，2017年，第27:1-27:22页·Zbl 1471.62408号
[4] H.Avron、P.Maymounkov和S.Toledo，《Blendenpik：增压LAPACK的最小二乘解算器》，SIAM J.Sci。计算。，32（2010），第1217-1236页·Zbl 1213.65069号
[5] H.Avron、H.Nguyen和D.Woodruff，{多项式核的子空间嵌入}，《神经信息处理系统的进展》27（NIPS 2014）。
[6] H.Avron和V.Sindhwani，{隐式分布优化和随机化的高性能内核机器}，《技术计量学》，58（2016），第341-349页。
[7] F.R.Bach，{低阶核矩阵近似的夏普分析}，《第26届学习理论年会论文集》，新泽西州普林斯顿，2013年，第185-209页。
[8] G.Blanchard和N.Kra¨mer，{核共轭梯度回归的最佳学习率}，《神经信息处理系统的进展》23（NIPS 2010）·Zbl 1349.62125号
[9] L.Bottou、O.Chapelle、D.DeCoster和J.Weston，{大规模内核机器（神经信息处理）}，麻省理工学院出版社，马萨诸塞州剑桥，2007年。
[10] M.Charikar、K.Chen和M.Farach-Colton，《在数据流中查找频繁项》，Theoret。计算。科学。，312（2004），第3-15页·Zbl 1071.68020号
[11] J.Chen、H.Avron和V.Sindhwani，《可扩展非参数学习的分层组合内核》，J.Mach。学习。决议，18（2017），66·Zbl 1434.68401号
[12] J.Chen、L.Wang和M.Anitescu，{\it matern kernel}的快速求和树代码，SIAM J.Sci。计算。，36（2014），第A289-A309页·Zbl 1290.65010号
[13] J.Chen，L.Wu，K.Audhkhasi，B.Kingsbury，B.Ramabhadrari，{语音识别的高效一对一核岭回归}，《IEEE声学、语音和信号处理国际会议论文集》，2016年，第2454-2458页。
[14] M.B.Cohen、J.Nelson和D.P.Woodruff，{稳定秩方面的最优近似矩阵乘积}，《第43届自动控制、语言和编程国际研讨会论文集》，2016年，第11:1-11:14页·Zbl 1404.65032号
[15] K.Cutajar、M.Osborne、J.Cunningham和M.Filippone，{预处理核矩阵}，第33届机器学习国际会议论文集，纽约，2016年，第2529-2538页；也可从在线获取。
[16] B.Dai、B.Xie、N.He、Y.Liang、A.Raj、M.-F.Balcan和L.Song，{通过双随机梯度的可伸缩核方法}，《神经信息处理系统的进展》27（NIPS 2014）。
[17] P.Drineas、M.W.Mahoney、S.Muthukrishnan和T.SarloíS，{快速最小二乘近似}，数值。数学。，117（2011），第219-249页·Zbl 1218.65037号
[18] G.Fung和O.L.Mangasarian，{\it Proximal support vector machine分类器}，《ACM SIGKDD知识发现和数据挖掘国际会议论文集》，2001年·Zbl 1101.68758号
[19] A.Gittens和M.Mahoney，{重温改进大规模机器学习的Nystro¨M方法}，《第30届机器学习国际会议论文集》，佐治亚州亚特兰大，28（2013），第567-575页·Zbl 1367.68223号
[20] R.Hamid、Y.Xiao、A.Gittens和D.DeCoster，{紧凑随机特征图}，第31届国际机器学习会议论文集，中国北京，32（2014），第19-27页。
[21] P.Huang、H.Avron、T.Sainath、V.Sindhwani和B.Ramabhadran，｛\it Kernel methods match deep neural networks on TIMIT｝，《IEEE声学、语音和信号处理国际会议论文集》，2014年，第205-209页。
[22] ｛\f5 S.Kumar｝、M.Mohri｝和A.Talwalkar｝，｛\f5奈斯特罗姆法的采样方法｝，｝｛\f5 J.Mach｝。学习。Res.，13（2012），第981-1006页·Zbl 1283.68292号
[23] Z.Lu，A.May，K.Liu，A.Bagheri Garakani，D.Guo，A.Bellet，L.Fan，M.Collins，B.Kingsbury，M.Picheny，and F.Sha，{\it How to Scale Up Kernel Methods to Be Good as Deep Neural Nets}，ArXiv e-prints，2014年。
[24] X.Meng，M.A.Saunders和M.W.Mahoney，{它是LSRN:强超定或欠定系统的并行迭代求解器}，SIAM J.Sci。计算。，36（2014），第C95-C118页·Zbl 1298.65053号
[25] V.I.Morariu、B.V.Srinivasan、V.C.Raykar、R.Duraiswami和L.S.Davis，{快速高斯求和的自动在线调整}，《神经信息处理系统的进展》21（NIPS 2008）。
[26] R.Pagh，{压缩矩阵乘法}，ACM Trans。计算。《理论》，5（2013），第9:1-9:17页·Zbl 1322.65055号
[27] J.Poulson、B.Marker、R.A.van de Geijn、J.R.Hammond和N.A.Romero，{元素：分布式内存密集矩阵计算的新框架}，ACM Trans。数学。软件，39（2013），13·Zbl 1295.65137号
[28] A.Rahimi和B.Recht，{大型内核机器的随机特征}，《神经信息处理系统的进展》20（NIPS 2007）。
[29] V.C.Raykar和R.Duraiswami，{使用近似矩阵向量乘积的快速大规模高斯过程回归}，《学习研讨会论文集》，2007年。
[30] C.Saunders、A.Gammerman和V.Vovk，{双变量岭回归学习算法}，《第十五届机器学习国际会议论文集》，威斯康星州麦迪逊（1998），第515-521页。
[31] J.R.Shewchuk，《共轭梯度法简介》，技术报告，卡内基梅隆大学，匹兹堡，宾夕法尼亚州，1994年。
[32] B.V.Srinivasan、Q.Hu、N.A.Gumerov、R.Murtugudde和R.Duraiswami，{核回归的预处理Krylov解算器}，ArXiv电子打印，2014年。
[33] S.Tu、R.Roelofs、S.Venkataraman和B.Recht，{使用块坐标下降的大规模内核学习}，ArXiv电子打印，2016年。
[34] C.K.I.Williams和M.Seeger，{使用Nystro¨M方法加速内核机器}，《神经信息处理系统的进展》13（NIPS 2000）。
[35] D.P.Woodruff，{作为数值线性代数工具的草图}，发现。趋势理论。计算。科学。，10（2014），第1-157页·Zbl 1316.65046号
[36] J.Yang，X.Meng，和M.W.Mahoney，{在并行和分布式环境中实现随机矩阵算法}，Proc。IEEE，104（2016），第58-92页。
[37] Y.Yang、M.Pilanci和M.J.Wainwright，《核的随机草图：快速和最优非参数回归》，Ann.Statist。，45（2017），第991-1023页·Zbl 1371.62039号
[38] T.Zhang，{使用有效数据维数的核回归的学习界}，神经计算。，17（2005），第2077-2098页·Zbl 1080.68044号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。