×

在点积多项式空间中学习深核。 (英语) Zbl 1454.68119号

摘要:最近的文献显示了在神经网络的背景下具有深度表征的优点。内核学习中一个新出现的挑战是定义类似的深度表征。在本文中,我们提出了一种通用的方法来定义一个表达能力增强的基本内核层次,并通过多核学习(MKL)将它们组合起来,以生成整体更深的内核。作为一个主要示例,该方法被应用于学习点积多项式(DPP)空间中的核,即齐次多项式核(HPK)的正组合。我们展示了HPK表达能力的理论特性,这些特性使得它们的组合在经验上非常有效。这也可以看作是学习任何确定的正点积核的Maclaurin展开的系数,从而使我们提出的方法普遍适用。我们实证地展示了我们的方法的优点,将我们的方法生成的核与基线核(包括齐次和非齐次多项式、RBF等)的有效性进行了比较,并与几个基准数据集上的另一种分层方法进行了比较。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62年02月 一般非线性回归
2017年10月68日 人工神经网络与深度学习
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Aiolli,F.和Donini,M.(2015)。Easymkl:一种可扩展的多内核学习算法。神经计算,169,215-224。doi:10.1016/j.neucom.2014.11.078·doi:10.1016/j.neucom.2014.11.078
[2] 巴赫·F·R(2009)。使用分层多核学习探索大型特征空间。神经信息处理系统进展,21,105-112。
[3] Bucak,S.S.、Jin,R.和Jain,A.K.(2014)。视觉对象识别的多核学习:综述。模式分析与机器智能,IEEE汇刊,36(7),1354-1369·doi:10.1109/TPAMI.2013.212
[4] Castro,E.、Gómez-Veldejo,V.、Martínez-Ramón,M.、Kiehl,K.A.和Calhoun,V.D.(2014)。从复值fmri数据分析中执行组分类的多核学习方法:应用于精神分裂症。神经影像,87,1-17·doi:10.1016/j.neuroimage.2013.10.065
[5] 科尔特斯,C。;Kloft,M。;莫赫里,M。;Burges,C.(编辑);Bottou,L.(编辑);Welling,M.(编辑);Ghahramani,Z.(编辑);Weinberger,K.(编辑),《神经信息处理系统的进展》,2760-2768(2013),Red Hook
[6] Cortes,C.、Mohri,M.和Rostamizadeh,A.(2010年)。学习内核的泛化界限。《第27届国际机器学习大会论文集》(ICML-10),2010年6月21日至24日,(第247-254页)以色列海法。
[7] Damoulas,T.和Girolma,M.A.(2008年)。概率多类多核学习:关于蛋白质折叠识别和远程同源性检测。生物信息学,24(10),1264-1270·doi:10.1093/bioinformatics/btn112
[8] Do,H.、Kalousis,A.、Woznica,A.和Hilario,M.(2009年)。基于边缘和半径的多核学习。数据库中的机器学习和知识发现,欧洲会议,ECML PKDD 2009,斯洛文尼亚布莱德,2009年9月7日至11日,会议记录,第一部分(第330-343页)。doi:10.1007/978-3642-04180-8_39。
[9] Gönen,M.和Alpaydin,E.(2011)。多个内核学习算法。机器学习研究杂志,12211-2268·Zbl 1280.68167号
[10] Jawanpuria,P.、Nath,J.S.和Ramakrishnan,G.(2015)。广义分层核学习。机器学习研究杂志,16,617-652·Zbl 1337.68224号
[11] Kar,P.和Karnick,H.(2012年)。点积核的随机特征映射。《第十五届国际人工智能与统计会议记录》,AISTATS 2012,加那利群岛拉帕尔马(第583-591页),2012年4月21日至23日。
[12] Kloft,M.和Blanchard,G.(2011年)。lp-norm多核学习的局部rademacher复杂性。神经信息处理系统进展,24,2438-2446。
[13] LeCun,Y.、Bottou,L.、Bengio,Y.和Haffner,P.(1998)。基于梯度的学习应用于文档识别。IEEE会议录,86(11),2278-2323。doi:10.1109/5.726791·数字对象标识代码:10.1109/5.726791
[14] Lichman,M.(2013)。UCI机器学习库。加利福尼亚州欧文:加利福尼亚大学信息与计算机科学学院。http://archive.ics.uci.edu/ml。
[15] Livni,R.、Shalev-Shwartz,S.和Shamir,O.(2013)。一种多项式网络训练算法。arXiv预打印arXiv:1304.7045。
[16] Livni,R.、Shalev-Shwartz,S.和Shamir,O.(2014)。关于训练神经网络的计算效率。神经信息处理系统进展,27855-863。
[17] Romera Paredes,B.、Aung,H.、Bianchi Berthouze,N.和Pontil,M.(2013)。多语言多任务学习。第30届国际机器学习大会论文集(第1444-1452页)。
[18] 勋伯格,I.J.(1942)。球面上的正定函数。《杜克数学杂志》,9(1),96-108·Zbl 0063.06808号 ·doi:10.1215/S0012-7094-42-00908-6
[19] Shawe-Taylor,J.和Cristianini,N.(2004)。模式分析的核心方法。剑桥:剑桥大学出版社·Zbl 0994.68074号 ·doi:10.1017/CBO9780511809682
[20] Srebro,N.(2004年)。学习矩阵分解。麻省理工学院博士论文。
[21] Watrous,J.(2011)。量子信息理论,课堂讲稿。https://cs.uwaterloo.ca网址/watrous/讲稿.html·Zbl 1393.81004号
[22] Xu,X.,Tsang,I.W.,&Xu,D.(2013)。软边缘多核学习。IEEE神经网络和学习系统汇刊,24(5),749-761。doi:10.1109/TNNLS.2012.2237183·doi:10.1109/TNNLS.2012.2237183
[23] Yang,J.,Li,Y.,Tian,Y.、Duan,L.和Gao,W.(2009)。用于对象分类的组敏感多核学习。计算机视觉,2009年IEEE第12届国际会议(第436-443页)。电气与电子工程师协会。
[24] Yu,S.、Falck,T.、Daemen,A.、Tranchevent,L.C.、Suykens,J.A.、De Moor,B.等人(2010年)。L2-形式多核学习及其在生物医学数据融合中的应用。BMC生物信息学,11(1),309·doi:10.1186/1471-2105-11-309
[25] Zien,A.和Ong,C.S.(2007年)。多类多核学习。第24届机器学习国际会议记录(第1191-1198页)。ACM公司。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。