×

学习数据自适应非参数核函数。 (英语) Zbl 07306897号

摘要:在本文中,我们在基于边缘的核方法中提出了一个数据自适应的非参数核学习框架。在模型建立中,给定初始核矩阵,在入口方案中引入具有两个约束的数据自适应矩阵。在无公式策略中学习此数据自适应矩阵可以扩大类之间的差距,从而提高模型的灵活性。引入的两个约束在我们的模型中被精确地(对小数据集)或近似地(对大数据集)施加,这通过理论证明在模型灵活性和复杂性之间提供了一个可控的权衡。在算法优化中,我们的学习框架的目标函数被证明是梯度-Lipschitz连续的。因此,通过Nesterov的加速,可以在统一的框架中有效地优化内核和分类器/回归器学习。对于可伸缩性问题,我们在大样本情况下研究了基于分解的模型方法。实证研究和理论保证都证明了这种近似的有效性。在各种分类和回归基准数据集上的实验结果表明,与其他具有代表性的基于核学习的算法相比,我们的非参数核学习框架取得了良好的性能。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
90 C90 数学规划的应用
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] 安德烈亚斯·阿吉里奥(Andreas Argyriou)、查尔斯·A·米切利(Charles A Michelli)和马西米利亚诺·蓬蒂尔(Massimiliano Pontil)。学习连续参数化基本核的凸组合。《计算学习理论国际会议论文集》,第338-352页。斯普林格,2005年·Zbl 1137.68517号
[2] 弗朗西斯·巴赫。低阶核矩阵近似的尖锐分析。《学习理论会议录》,第185-209页,2013年。
[3] 弗朗西斯·巴赫。利用分层多核学习探索大特征空间。《神经信息处理系统进展论文集》,第105-112页,2008年。
[4] Francis R Bach、Gert RG Lanckriet和Michael I Jordan。多核学习、二次曲线对偶和smo算法。《机器学习国际会议论文集》,第1-8页,2004年。
[5] 玛丽亚·弗洛琳娜·巴尔坎、阿夫里姆·布鲁姆和桑托什·万帕拉。内核作为特征:关于内核、边距和低维映射。机器学习,65(1):79-942006·Zbl 1110.68431号
[6] Peter L.Bartlett、Philip M.Long、G’abor Lugosi和Alexander Tsigler。线性回归中的良性过拟合。《美国国家科学院院刊》,2020年。
[7] 约舒亚·本吉奥(Yoshua Bengio)、让·弗朗索瓦·佩门特(Jean Francois Paiement)和帕斯卡·文森特(Pascal Vincent)。lle、isomap、mds、特征映射和谱聚类的样本外扩展。《神经信息处理系统进展论文集》,第177-184页,2004年。
[8] 斯蒂芬·博伊德和利文·范登伯格。凸优化。剑桥大学出版社,2004年·Zbl 1058.90049号
[9] 蔡建峰(Jian Feng Cai)、伊曼纽尔·坎迪斯(Emmanuel J Cand’es)和沈左伟(Zuowei Shen)。矩阵补全的奇异值阈值算法。SIAM优化杂志,20(4):1956-19822010·Zbl 1201.90155号
[10] 陈德雄、劳伦特·雅各布和朱利安·迈拉尔。图结构数据的卷积核网络。第1-11页,2020年。
[11] 弗拉基米尔·切尔卡斯基(Vladimir Cherkasky)、唐·盖林(Don Gehring)和菲利普·穆利埃(Filip Mulier)。样本函数估计自适应方法的比较。IEEE神经网络汇刊,7(4):969-9841996。
[12] Youngmin Cho和Lawrence K Saul。深度学习的核心方法。神经信息处理系统进展,第342-350页,2009年。
[13] Brendon K Colbert和Matthew M Peet。一类新的通用核函数的凸参数化。机器学习研究杂志,21(45):1-292020·Zbl 1498.68230号
[14] 科琳娜·科尔特斯(Corinna Cortes)、梅赫亚尔·莫赫里(Mehryar Mohri)和阿夫申·罗斯塔米扎德(Afshin Rostamizadeh)。基于中心对齐的核学习算法。机器学习研究杂志,13(2):795-8282012·Zbl 1283.68286号
[15] Nello Cristianini、John Shawe Taylor、Andre Elisseeff和Jaz S Kandola。关于内核-目标对齐。《神经信息处理系统进展论文集》,第367-3732002页·兹比尔1024.68060
[16] Tri Dao、Christopher M.De Sa和Christophers R´e。核特征的高斯求积。《神经信息处理系统进展学报》,第6107-6117页,2017年。
[17] 贾登、魏东、理查德·索彻、李佳丽、凯丽和费费丽。Imagenet:一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议论文集,第248-255页。
[18] Harris Drucker、Christopher J.C.Burges、Linda Kaufman、Alex J.Smola和Vladimir Vapnik。支持向量回归机。《神经信息处理系统进展学报》,第155-1611997页。
[19] Micha¨el Fanuel、Antoine Aspel、Jean-Charles Delvennes和Johan A.K.Suykens。正半定嵌入用于降维和样本外扩展。arXiv预印本arXiv:1711.072712017。
[20] 克里斯托夫·吉拉德(Christophe Giraud)和尼古拉·维尔泽伦(Nicolas Verzelen)。松弛k均值聚类的部分恢复界。《数理统计与学习》,1(3):317-3742019年·Zbl 1426.62186号
[21] 穆罕默德·戈宁。贝叶斯高效多核学习。《机器学习国际会议论文集》,第1-8页,2012年·Zbl 1327.68192号
[22] Mehmet G¨onen和Ethem Alpayd。多个内核学习算法。机器学习研究杂志,12:2211-22682011·Zbl 1280.68167号
[23] 特雷弗·哈斯蒂(Trevor Hastie)、安德烈亚·蒙塔纳里(Andrea Montanari)、萨哈隆·罗塞特(Saharon Rosset)和瑞安·提比什拉尼(Ryan J.Tibshirani)。高维无脊最小二乘插值的惊喜。arXiv预印本arXiv:1903.085602019。
[24] Alan J.Hoffman和Helmut W.Wielandt。正规矩阵谱的变化。《艾伦·J·霍夫曼论文选集:评论》,第118-120页。《世界科学》,2003年。
[25] Steven C.H.Hoi、Rong Jin和Michael R.Lyu。从成对约束中学习非参数核矩阵。《机器学习国际会议论文集》,第361-368页,2007年。
[26] 谢卓奎、斯思和英迪尔吉特·迪伦。用于内核支持向量机的分治求解器。《机器学习国际会议论文集》,第566-574页,2014年。
[27] 扎克里娅·侯赛因和约翰·肖·泰勒。改进了多核学习的损失界限。《国际人工智能与统计会议论文集》,第370-377页,2011年。
[28] Sergey Ioffe和Christian Szegedy。批量归一化:通过减少内部协变量偏移来加速深度网络训练。《机器学习国际会议论文集》,第448-4562015页。
[29] Lalit Jain、Blake Mason和Robert Nowak。学习低维指标。《神经信息处理系统进展》,第4142-4150页,2017年。
[30] Prateek Jain、Brian Kulis、Jason V.Davis和Inderjit S.Dhillon。使用线性变换进行度量和核学习。机器学习研究杂志,13(1):519-5472012·Zbl 1283.68290号
[31] Pratik Jawanpuria、Jagarlapudi Saketha Nath和Ganesh Ramakrishnan。广义分层核学习。机器学习研究杂志,16(1):617-6522015·Zbl 1337.68224号
[32] Neal Jean、Sang Michael Xie和Stefano Ermon。半监督深核学习:通过最小化预测方差对未标记数据进行回归。《神经信息处理系统进展学报》,第5322-5333页,2018年。
[33] 查尔斯·约翰逊。矩阵理论与应用,第40卷。美国数学学会,1990年·Zbl 0694.0009
[34] S Sathiya Keerthi、Olivier Chapelle和Dennis DeCoster。构建分类器复杂度较低的支持向量机。机器学习研究杂志,7(7月):1493-15152006·Zbl 1222.68230号
[35] Masoud Badiei Khuzani、Yinyu Ye、Sandy Napel和Lei Xing。学习径向基函数sch¨onberg测度的平均场理论。arXiv预印本arXiv:2006.133302020。
[36] Matth¨aus Kleindessner和Ulrike von Luxburg。基于三重比较的核函数。《神经信息处理系统进展学报》,第6810-6820页,2017年。
[37] 尼尔斯·克里格(Nils M.Kriege)、皮埃尔·路易斯·吉斯卡尔(Pierre Louis Giscard)和理查德·威尔逊(Richard C.Wilson)。关于有效的最优分配核及其在图分类中的应用。《神经信息处理系统进展学报》,第1623-1631页,2016年。
[38] 亚历克斯·克利舍夫斯基(Alex Krizhevsky)和杰弗里·辛顿(Geoffrey Hinton)。从微小图像中学习多层特征。技术报告,多伦多大学,2009年。
[39] 布莱恩·库利斯。量度学习:一项调查。机器学习的基础和趋势,5(4),2013。
[40] Brian Kulis、M´aty´饰演A Sustik和Inderjit S Dhillon。具有Bregman矩阵发散的低秩核学习。机器学习研究杂志,10(2月):341-3762009·Zbl 1235.68166号
[41] Gert R.G.Lanckriet、Nello Cristianini、Peter Bartlett、Laurent El Ghaoui和Michael I.Jordan。用半定规划学习核矩阵。机器学习研究杂志,5(1):27-722004·Zbl 1222.68241号
[42] 李春亮(Chun-Liang Li)、张伟成(Wei-Cheng Chang)、优素福·姆鲁厄(Youssef Mroueh)、杨一鸣(Yiming Yang)和巴纳巴斯·波佐斯(Barnabas Poczos)。内隐内核学习。第22届国际人工智能与统计会议论文集,2007-2016页,2019页。
[43] 恒联和曾延凡。超高维debiased’1-范数支持向量机的分而治之。机器学习研究杂志,18(1):6691-67162017·Zbl 1468.68158号
[44] 刘方辉,黄晓林,陈功,杨杰,李丽。非线性成对层及其核学习训练。《AAAI人工智能会议记录》,第3659-3666页,2018年。
[45] 刘方辉、黄晓林、陈玉东和约翰·苏肯斯。核近似的随机特征:算法、理论和其他方面的调查。arXiv预印本arXiv:2004.1154,2020。
[46] 刘新旺、王磊、朱新忠、李苗苗、朱恩、刘铜梁、刘丽、窦勇和尹建平。缺乏多核学习算法。IEEE模式事务
[47] 刘勇和廖世忠。核方法核选择的特征值比。《AAAI人工智能会议论文集》,第2814-2820页,2015年。
[48] Ga¨elle Loosli、St´ephane Canu和Soon Ong Cheng。在Kre˘n空间中学习SVM。IEEE模式分析和机器智能汇刊,38(6):1204-12162016。
[49] 陆正东、贾恩·普拉蒂克(Pratek Jain)和英迪尔吉特·西隆(Inderjit S.Dhillon)。几何器皿公制学习。《机器学习国际会议论文集》,第673-680页,2009年。
[50] 马时谦(Shiqian Ma)、唐纳德·戈德法布(Donald Goldfarb)和陈立峰(Lifeng Chen)。矩阵秩最小化的不动点和Bregman迭代方法。数学规划,128(1-2):321-3532011·Zbl 1221.65146号
[51] 朱利安·迈拉尔。带监督卷积核网络的端到端核学习。《神经信息处理系统进展学报》,第1399-1407页,2016年。
[52] Jovana Mitrovic、Dino Sejdinovic和Yee Whye Teh。通过内核偏差度量进行因果推断。《神经信息处理系统进展论文集》,第6986-6994页,2018。
[53] 阿卡迪·内米洛夫斯基。具有lipschitz连续单调算子的变分不等式和光滑凹凸鞍点问题的收敛速度为O(1/t)的Prox方法。SIAM优化杂志,15(1):229-2512004·Zbl 1106.90059号
[54] 尤里·内斯特罗夫。非光滑函数的平滑最小化。数学规划,103(1):127-1522005·Zbl 1079.90102号
[55] Noh Yung-Kyun、Sugiyama Masashi、Kim Kee-Eung、Park Frank和Daniel D Lee。核回归的生成局部度量学习。《神经信息处理系统进展学报》,第2449-2459页,2017年。
[56] 王成顺(Cheng Soon Ong)、泽维尔·玛丽(Xavier Mary)和亚历山大·斯莫拉(Alexander J.Smola)。用非积极内核学习。《机器学习国际会议论文集》,第81-89页,2004年。
[57] 潘斌斌、陈文胜、陈波、陈旭和赖建煌。非参数核方法的样本外扩展。IEEE神经网络和学习系统汇刊,28(2):334-3452017。
[58] Jean-Paul Penot公司。最优值函数的可微性。加拿大数学杂志,56(4):825-8422004·Zbl 1078.49016号
[59] 约翰·普拉特。序列最小优化:一种训练支持向量机的快速算法。核方法的进展——支持向量学习,第212-223页,1998年。
[60] 秦丹凤(Danfeng Qin)、史蒂芬(Stephan Gammeter)、卢卡斯·博萨德(Lukas Bossard)和蒂尔·夸克(Till Quack)。Hello neighbor:使用k个倒数最近邻进行精确的对象检索。IEEE计算机会议论文集
[61] Ali Rahimi和Benjamin Recht。大型内核机的随机特性。《神经信息处理系统进展学报》,第1177-1184页,2007年。
[62] 本杰明·雷希特(Benjamin Recht)、玛丽亚姆·法泽尔(Maryam Fazel)和巴勃罗·帕里罗(Pablo A Parrilo)。通过核范数最小化保证线性矩阵方程的最小秩解。SIAM评论,52(3):471-5012010年·Zbl 1198.90321号
[63] 弗兰克·迈克尔·施莱夫和彼得·蒂诺。无限接近学习:综述。神经计算,27(10):2039-20062015·兹比尔1472.68155
[64] Bernhard Sch¨olkopf和Alexander J.Smola。使用内核学习:支持向量机、正则化、优化及其他。麻省理工学院出版社,2003年。
[65] 约翰·肖·泰勒和尼洛·克里斯蒂亚尼尼。支持向量机,第2卷。剑桥大学出版社,2000年·Zbl 0994.68074号
[66] 石勤凤、沈春华、里斯山和安东·范登·亨格尔。随机投影后是否保留边距?《机器学习国际会议国际会议论文集》,第643-650页,2012年。
[67] Si Si、Cho-Jui Xieh和Inderjit S Dhillon。内存有效的内核近似。《机器学习研究杂志》,18:1-322017年·Zbl 1433.68399号
[68] 阿曼·辛哈和约翰·杜奇。学习具有随机特征的内核。《神经信息处理系统进展》,第1298-1306页,2016年。
[69] Alex J.Smola和Bernhard Sch¨olkopf。机器学习的稀疏贪婪矩阵近似。《机器学习国际会议论文集》,第911-918页,2000年。
[70] 内森·斯雷布罗和谢本·达维德。具有学习核的支持向量机的学习界。计算学习理论国际会议论文集,页·Zbl 1143.68561号
[71] 英戈·斯坦沃特(Ingo Steinwart)和克里斯曼·安德烈亚斯(Christmann Andreas)。支持向量机。施普林格科学与商业媒体,2008年·Zbl 1203.68171号
[72] 乔治·P·H·斯提恩。哈达玛产品和多元统计分析。线性代数及其应用,6:217-2401973·Zbl 0255.15002号
[73] Johan A.K.Suykens、Tony Van Gestel、Jos De Brabanter、Bart De Moor和Joos Vandewalle。最小二乘支持向量机。《世界科学》,2002年·Zbl 1017.93004号
[74] 菲利普HS托尔。局部线性支持向量机。《国际机器学习会议论文集》,第1-8页,2011年。
[75] 弗拉基米尔·瓦普尼克。统计学习理论的本质。斯普林格,1995年·Zbl 0833.62008号
[76] Manik Varma和Bodla Rakesh巴布。在有效的多核学习中更具通用性。《机器学习国际会议论文集》,第1065-1072页,2009年。
[77] 约翰·冯·诺伊曼(John Von Neumann)。操作员环上。还原理论。《数学年鉴》,第401-485页,1949年·Zbl 0034.06102号
[78] 王树森、罗罗和张志华。SPSD矩阵近似与列选择:理论、算法和扩展。机器学习研究杂志,17(1):1697-17452016·Zbl 1360.65130号
[79] 霍尔格·温德兰(Holger Wendland)。分散数据近似,第17卷。剑桥大学出版社,2004年。38 ·兹比尔1185.65022
[80] 安德鲁·戈登·威尔逊和瑞安·普雷斯科特·亚当斯。用于模式发现和外推的高斯过程核。机器学习国际会议论文集,页
[81] 安德鲁·戈登·威尔逊(Andrew Gordon Wilson)、胡志婷(Zhiting Hu)、鲁斯兰·萨拉库丁诺夫(Ruslan Salakhutdinov)和埃里克·P·星(Eric P.Xing)。深层内核学习。《国际人工智能与统计会议论文集》,第370-378页,2016年。
[82] Xie,J Ho和B Vemuri。关于稀疏编码和字典学习的非线性推广。《机器学习国际会议论文集》,第1480-1488页,2013年。
[83] Yiming Ying和Ding Xuan Zhou。具有灵活方差的高斯函数的可学习性。机器学习研究杂志,8(2月):249-2762007·Zbl 1222.68339号
[84] 张宇晨、约翰·杜奇和马丁·温赖特。分治核岭回归。《学习理论会议录》,第592-617页,2013年。
[85] 郑伟、龚少刚和陶翔。通过相对距离比较重新识别。IEEE关于模式分析和机器智能的交易,35(3):653-6682012。
[86] Zhun Zhong、Liang Zheng、Donglin Cao和Shaozi Li。使用k倒易编码重新分类人。《IEEE计算机视觉和模式识别会议论文集》,第1318-13272017页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。