×
米歇尔·法努埃尔;约阿希姆·施鲁尔斯;约翰·苏肯斯（Johan A.K.Suykens）。

Nyström地标采样和正则化Christoffel函数。 （英语） Zbl 07570156号

机器。学习。 111，第6期，2213-2254（2022）.
摘要：从一个大的集合中选择不同的重要项目，称为地标，是机器学习中一个有趣的问题。作为一个具体的例子，为了处理大型训练集，核方法通常依赖于基于地标选择或采样的低秩矩阵Nyström近似。在这种情况下，我们提出了一种确定性和随机自适应算法，用于在训练数据集中选择地标点。这些标志与核化Christoffel函数序列的极小值有关。除了Christoffel函数和杠杆得分，我们的方法与有限行列式点过程（DPP）也进行了解释。也就是说，我们的建设以类似于DPP的方式促进重要地标点之间的多样性。此外，我们还解释了随机自适应算法如何影响核岭回归的准确性。

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

内核;奈斯特罗姆;确定点过程;多样性

软件：

灾难
PDF格式BibTeX公司 XML格式引用
\textit{M.Fanuel}等人，马赫。学习。111，编号6，2213--2254（2022；Zbl 07570156）
全文： 内政部 arXiv公司

参考文献：

[1] Askari，A.、Yang，F.、El Ghaoui，L.（2018年）。使用逆Christoffel函数进行基于核的离群点检测。arxiv预打印arxiv:1806.06775
[2] 巴赫·F（2013）。低秩核矩阵近似的尖锐分析。摘自：COLT学习理论会议记录，第185-209页
[3] 马萨诸塞州贝尔阿巴斯；Wolfe，PJ，机器学习中的谱方法和超大数据集的新策略，《国家科学院学报》，106，2，369-374（2009）
[4] Binev，P。；科恩，A。；Dahmen，W。；德沃尔，R。；彼得罗娃，G。；Wojtaszczyk，P.，缩减基方法中贪婪算法的收敛速度，SIAM数学分析杂志，43，3，1457-1472（2011）·Zbl 1229.65193号
[5] Calandriello，D.、Lazaric，A.和Valko，M.（2017a）。用于核矩阵近似的分布式自适应采样。参见：Singh A，Zhu XJ（eds）《第20届国际人工智能与统计会议论文集》，AISTATS 2017，2017年4月20日至22日，美国佛罗里达州劳德代尔堡，PMLR，《机器学习研究论文集》第54卷，第1421-1429页。
[6] Calandriello，D.、Lazaric，A.和Valko，M.（2017b）。基于自适应草图的二阶核在线凸优化。见：《第34届国际机器学习会议记录》，第70卷，JMLR.org，第645-653页。
[7] Chen，V.、Wu，S.、Ratner，A.J.、Weng，J.和Ré，C.（2019年）。基于切片的学习：关键数据切片中剩余学习的编程模型。摘自：《神经信息处理系统的进展》，第9392-9402页。
[8] Cohen，M.B.、Musco，C.和Pachocki，J.（2015）。在线行采样。摘自：第19届组合优化问题近似算法国际研讨会论文集（APPROX）·Zbl 1398.65079号
[9] Corless，R.M.、Gonnet，G.H.、Hare，D.E.G.、Jeffrey，D.J.和Knuth，D.E.（1996）《关于Lambert W函数》。摘自：《计算数学进展》，第329-359页·Zbl 0863.65008号
[10] Cortes C、Mohri M、Talwalkar A（2010）《关于核近似对学习准确性的影响》。摘自：《第十三届国际人工智能与统计会议记录》，第113-120页。
[11] Derezinski，M.、Calandriello，D.和Valko，M.（2019年）。用次线性时间预处理确定点过程的精确采样。内容：神经信息处理系统进展32（NeurIPS）。
[12] Derezinski，M.、Khanna，R.和Mahoney，M.（2020年）。改进了列子集选择问题和nyström方法的保证和多段曲线。参加NeurIPS 2020 abs/2002.09073。
[13] 德沃尔，R。；彼得罗娃，G。；Wojtaszczyk，P.，巴拿赫空间中约化基的贪婪算法，构造逼近，37，3，455-466（2013）·兹比尔1276.41021
[14] 德里尼亚斯，P。；Mahoney，MW，《关于用Nyström方法逼近改进的基于核的学习的克矩阵》，《机器学习研究杂志》，62153-2175（2005）·Zbl 1222.68186号
[15] El Alaoui，A。；Mahoney，M.，具有统计保证的快速随机核岭回归，神经信息处理系统进展，28775-783（2015）
[16] 法努埃尔，M。；Schreurs，J。；Suykens，J.，《多样性抽样是核方法的隐式正则化》，SIAM数据科学数学杂志，3，1，280-297（2021）·Zbl 1468.62251号
[17] Farahat，A.、Ghodsi，A.和Kamel，M.（2011年）。一种新的Nyström近似贪婪算法。摘自：《第十四届国际人工智能与统计会议论文集》，《机器学习研究论文集》第15卷，第269-277页。
[18] Feldman，V.（2020年）。学习需要记忆吗？关于长尾的短篇故事。在：第52届ACM SIGACT计算理论年度研讨会论文集，第954-959页·Zbl 07298301号
[19] 高，T。；科瓦斯基，S。；Daubechies，I.，流形上的高斯过程标记，SIAM数据科学数学杂志，1，1，208-236（2019）·Zbl 1499.60114号
[20] 加特雷尔，M。；布鲁内尔，VE；Dohmatob，E。；Krichene，S.，学习非对称决定点过程，神经信息处理系统进展，Curran Associates Inc，32，6718-6728（2019）
[21] Gauthier，B。；Suykens，J.，积分算子逼近的最优正交分解，SIAM科学计算杂志，40，5，A3636-A3674（2018）·Zbl 1490.41018号
[22] Girolma，M.，正交级数密度估计和核特征值问题，神经计算，14，3，669-688（2002）·Zbl 0986.62021号
[23] Gittens，A.和Mahoney，M.W.（2016年）。重温用于改进大规模机器学习的Nyström方法。机器学习研究杂志，17，117:1-11765·Zbl 1367.68223号
[24] Gong，B.、Chao，W.L.、Grauman，K.、Sha，F.（2014）。用于监督视频摘要的多样序列子集选择。摘自：《神经信息处理系统进展》，第2069-277页。
[25] Guyon，I.、Matic，N.和Vapnik，V.（1996），《知识发现和数据挖掘的进展》。Chap发现信息模式和数据清理，第181-203页。
[26] 霍夫，JB；克里希纳普尔，M。；佩雷斯，Y。；Virág，B.，确定性过程和独立性，概率调查，3206-229（2006）·Zbl 1189.60101号
[27] Kulesza，A.和Taskar，B.（2010），结构化确定性点过程。摘自：《神经信息处理系统的进展》，第1171-1179页，
[28] Kulesza，A.和Taskar，B.（2011），k-dpps：固定大小的确定点过程。摘自：第28届国际机器学习会议记录（ICML-11），第1193-1200页。
[29] Kulesza，A。；Taskar，B.，《机器学习的决定点过程》，机器学习的基础和趋势，5，2-3，123-286（2012）·Zbl 1278.68240号
[30] Kulesza，A.和Taskar，B.（2012b）学习决定点过程。arxiv预印本xiv:1202.3738·Zbl 1278.68240号
[31] Lasserre，J.，&Pauwels，E.（2017），机器学习中应用的经验Christoffel函数，Arxiv prepintarXiv:1701.02886·兹比尔1425.62079
[32] 拉奈，C。；Galerne，B。；Desolneux，A.，没有特征分解的行列式点过程的精确采样，应用概率杂志，57，4，1198-1221（2020）·Zbl 1472.60085号
[33] Liang，D.，&Paisley，J.（2015），具有高斯过程的Landmarking流形。摘自：《第32届国际机器学习会议论文集》，《机器学习研究论文集》第37卷，第466-474页。
[34] Li，C.，Jegelka，S，&Sra，S.（2016a）k决定点过程的有效采样。输入：AISTAT。
[35] Li，C.，Jegelka，S，&Sra，S.（2016年b）。快速Dpp。Nyström的抽样及其在核方法中的应用。摘自：第33届国际机器学习会议论文集——第48卷，ICML’16，第2061-2070页。
[36] McCurdy，S.，岭回归和可证明确定性岭杠杆得分抽样，神经信息处理系统进展，312468-2477（2018）
[37] Minsker，S.，关于自共轭算子的bernstein不等式的一些推广，《统计与概率快报》，127111-119（2017）·Zbl 1377.60018号
[38] 密斯科，C。；Musco，C.，Nyström方法的递归采样，神经信息处理系统的进展，303833-3845（2017）·Zbl 1410.68399号
[39] Oakden-Rayner，L.，Dunnmon，J.，Carneiro，G.，&Ré，C.（2020），《隐藏分层导致医学成像机器学习中有临床意义的失败》。摘自：ACM健康、推理和学习会议记录，第151-159页，
[40] 佩斯利，J。；廖，X。；Carin，L.，《基于核的线性模型的主动学习和基选择：贝叶斯观点》，IEEE Transactions on Signal Processing，58，5，2686-2700（2010）·Zbl 1391.62134号
[41] Papailiopoulos，D.、Kyrillidis，A.和Boutsidis，C.（2014）。可证明的确定性杠杆得分抽样。摘自：《第20届ACM SIGKDD知识发现和数据挖掘国际会议论文集》，美国纽约州纽约市ACM，KDD’14，第997-1006页。
[42] Pauwels，E。；巴赫，F。；Vert，J.，使用正则化Christoffel函数关联杠杆得分和密度，神经信息处理系统进展，32，1663-1672（2018）
[43] Pinkus，A.，矩阵与宽度，线性代数与应用，27245-278（1979）·Zbl 0437.41023号
[44] Poulson，J.，通用决定点过程的高性能抽样，《皇家学会哲学学报A：数学、物理和工程科学》，378，2166，20190059（2020）·Zbl 1470.60132号
[45] Rahimi，A.和Recht，B.（2007年）。大型内核机的随机特性。摘自：《第20届神经信息处理系统国际会议论文集》，第1177-1184页。
[46] 拉斯穆森，C。；Williams，C.，《机器学习的高斯过程》（2006），剑桥：麻省理工学院出版社，剑桥·兹比尔1177.68165
[47] Rudi，A。；Calandriello，D。；卡拉蒂诺。；Rosasco，L.，《关于快速杠杆得分抽样和优化学习》，《神经信息处理系统进展》，315677-5687（2018）
[48] Rudi，A。；卡拉蒂诺，L。；Rosasco，L.，Falkon:一种最优大规模核方法，神经信息处理系统进展，303888-3898（2017）
[49] Rudi，A。；De Vito，E。；Verri，A。；Odone，F.，支持估计的正则化核算法，应用数学和统计前沿，3，23（2017）
[50] Santin，G。；Haasdonk，B.，基于核近似中数据相关p-贪婪算法的收敛速度，《白云石近似研究笔记》杂志，10，68-78（2017）·Zbl 1370.94401号
[51] Schreurs，J.、Fanuel，M.和Suykens，J.（2020年）。集合核方法、隐式正则化和行列式点过程。ICML 2020负依赖和子模块研讨会，PMLR 119·Zbl 1468.62251号
[52] 日本苏肯斯；Gestel，电视；Brabanter，JD；摩尔，BD；Vandewalle，J.，最小二乘支持向量机（2002），新加坡：世界科学，新加坡·Zbl 1017.93004号
[53] Tremblay，N。；巴塞尔姆，S。；Amblard，P.，核心集的行列式点过程，《机器学习研究杂志》，20，168，1-70（2019）·Zbl 1446.62351号
[54] Tropp，J.（2019），矩阵集中与计算线性代数。教学资源（未发布）。
[55] Tropp，J.，矩阵鞅的Freedman不等式，概率电子通信，16，262-270（2011）·Zbl 1225.60017号
[56] Valverde Albacete，斐济；佩莱兹·莫雷诺，C.，100
[57] 威廉姆斯，C。；Seeger，M.，《使用NyströM方法加速内核机器》，《神经信息处理系统的进展》，13，682-688（2001）
[58] Zhang，T.，使用有效数据维度的核回归学习界，神经计算，17，9，2077-2098（2005）·Zbl 1080.68044号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。