Aleksandar Trokicić;布拉尼米尔·托多罗维奇 随机Nyström核回归的期望误差。 （英语） Zbl 1499.68321号 菲洛马 34，编号11，3871-3884（2020）. 摘要：内核方法是一类机器学习算法，它学习并发现高维（可能无限维）特征空间中的模式，这些特征空间通常是通过输入空间的非线性、可能无限映射获得的。内核方法的一个主要问题是其时间复杂性。对于具有输入点的数据集，核方法的时间复杂度为（O（n^3），这对于大型数据集来说是很难处理的。基于随机Nyström特征的方法是一种近似方法，能够将时间复杂度降低到\（O（np^2+p^3）\），其中\（p\）是随机选择的输入数据点的数量。时间复杂度为\（O（p^3）\的原因是，需要对\（p倍p\）Gram矩阵进行谱分解，如果\（p）是一个很大的数字，甚至近似算法也很耗时。在本文中，我们将使用随机SVD方法来代替谱分解，从而进一步降低时间复杂度。随机SVD算法的输入参数是Gram矩阵和数字（m<p）。在这种情况下，时间复杂度为（O（nm^2+p^2m+m^3），对（m）维随机特征进行线性回归。我们将证明通过该方法学习的预测器的误差与核预测器误差的期望值几乎相同。此外，我们将从经验上证明，该预测值优于仅使用Nyström方法的ONE。 MSC公司： 68T05型 人工智能中的学习和自适应系统 62G08号 非参数回归和分位数回归 68瓦20 随机算法 68瓦40 算法分析 关键词：核回归;核矩阵;Nyström方法;随机SVD;随机特征 PDF格式BibTeX公司 XML格式引用 \textit{A.Trokicić}和\textit{B.Todorović}，Filomat 34，No.11，3871--3884（2020；Zbl 1499.68321） 全文： 内政部 参考文献： [1] 弗朗西斯·巴赫。低阶核矩阵近似的尖锐分析。2013年学习理论会议，第185-209页。A.Trokici´c，B.Todorovi´c/Filomat 34:11（2020），3871-38843884 [2] 弗朗西斯·巴赫和迈克尔·乔丹。核方法的预测低秩分解。第22届机器学习国际会议论文集，第33-40页。ACM，2005年。 [3] 亚历克斯·吉滕斯（Alex Gittens）。naive nystrom扩展的谱范数误差。arXiv预印本arXiv:1110.53052011。 [4] 大卫·格罗斯和文森特·奈斯梅。关于从有限矩阵集合中不替换抽样的注释。arXiv预印本arXiv:1001.27382010。 [5] Nathan Halko、Per-Gunnar Martinsson和Joel A Tropp。寻找具有随机性的结构：用于构造近似矩阵分解的概率算法。SIAM综述，53（2）：217-2882011年·Zbl 1269.65043号 [6] Sanjiv Kumar、Mehryar Mohri和Amee Talwalkar。nystr–om方法的采样方法。机器学习研究杂志，13（4月）：981-10062012·Zbl 1283.68292号 [7] Quoc Le、Tam´as Sarl´os和Alex Smola。Fastfood——近似对数线性时间内的内核扩展。《国际机器学习会议论文集》，2013年第85卷。 [8] Mu Li、Wei Bi、James T Kwok和Bao-Liang Lu。使用随机奇异值分解的大尺度核矩阵近似。IEEE神经网络和学习系统交易，26（1）：152-1642015。 [9] Lester Mackey、Michael I Jordan、Richard Y Chen、Brendan Farrell、Joel A Tropp等，通过可交换对方法实现矩阵集中不等式。《概率年鉴》，42（3）：906-9452014·Zbl 1294.60008号 [10] Michael W Mahoney和Petros Drineas。用于改进数据分析的Cur矩阵分解。《美国国家科学院院刊》，106（3）：697-7022009·Zbl 1202.68480号 [11] Brian McWilliams、David Balduzzi和Joachim M Buhmann。快速半监督学习的相关随机特征。《神经信息处理系统进展》，第440-4482013页。 [12] Ali Rahimi和Benjamin Recht。大型内核机的随机特性。神经信息处理系统进展，第1177-1184页，2008年。 [13] Ali Rahimi和Benjamin Recht。随机厨房水槽的加权和：在学习中用随机代替最小化。神经信息处理系统进展，第1313-1320页，2009年。 [14] Bernhard Sch¨olkopf，Alexander J Smola等人，《核学习：支持向量机，正则化》。优化及其他。麻省理工学院出版社，1（2），2002年。 [15] Bernhard Sch¨olkopf、Koji Tsuda和Jean-Philippe Vert。支持向量机在计算生物学中的应用。麻省理工学院出版社，2004年。 [16] John Shawe-Taylor、Nello Cristianini等。模式分析的核心方法。剑桥大学出版社，2004年·Zbl 0994.68074号 [17] 乔尔·特罗普（Joel A Tropp）。改进了子抽样随机阿达玛变换的分析。自适应数据分析进展，3（01n02）：115-1262011·Zbl 1232.15029号 [18] 乔尔·特罗普（Joel A Tropp）。随机矩阵和的用户友好尾部界限。计算数学基础，12（4）：389-4342012·兹比尔1259.60008 [19] 克里斯托弗·基·威廉姆斯和卡尔·爱德华·拉斯穆森。机器学习的高斯过程，第2卷。麻省理工学院出版社，马萨诸塞州剑桥，2006年·Zbl 1177.68165号 [20] 克里斯托弗·基·威廉姆斯和马蒂亚斯·西格。使用nystr–om方法加速内核机器。神经信息处理系统进展，第682-688页，2001年。 [21] 杨天宝、李玉凤、马哈达维、金荣和周志华。Nystr–om方法与随机傅里叶特征：理论和经验比较。《神经信息处理系统进展》，第476-4842012页。 [22] 张建国（Jianguo Zhang）、马金·马尔扎·埃克（Marcin Marszałek）、斯维特兰·拉泽布尼克（Svetlana Lazebnik）和科迪莉亚·施密德（Cordelia Schmid）。纹理和对象类别分类的局部特征和核心：综合研究。国际计算机视觉杂志，73（2）：213-2382007 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。