×

快速学习关系内核。 (英语) Zbl 1470.68129号

摘要:我们开发了一个基于动态命题化的核统计逻辑学习的一般理论框架,其中结构学习对应于在逻辑对象上推断合适的核,参数学习对应于生成的再生核Hilbert空间中的函数学习。特别是,我们研究了结构学习由简单的类FOIL算法执行的情况,并提出了用于指导搜索过程的替代评分函数。我们对单任务和多任务环境中的几个数据集进行了实证评估。

MSC公司:

68T05型 人工智能中的学习和自适应系统
46 E22型 具有再生核的希尔伯特空间(=(适当的)函数希尔伯特空间,包括de Branges-Rovnyak和其他结构空间)
62H30型 分类和区分;聚类分析(统计方面)
68N17号 逻辑编程
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Argyriou,A.、Hauser,R.、Miccelli,C.A.和Pontil,M.(2006)。一种用于核选择的DC编程算法。第23届国际机器学习会议(ICML-2006)论文集(第41-48页),美国宾夕法尼亚州匹兹堡。
[2] Argyriou,A。;Evgeniou,T。;Pontil,M.,《多任务特征学习》,41-48(2007),剑桥
[3] Bartlett,P.L.、Jordan,M.I.和McAuliffe,J.D.(2006年)。凸性、分类和风险边界。美国统计协会杂志,101,138-156·Zbl 1118.62330号 ·doi:10.1198/01621450000000907
[4] Ben-David,S.、Eiron,N.和Simon,H.U.(2002年)。通过嵌入欧氏半空间学习的局限性。机器学习研究杂志,3441-461·Zbl 1084.68551号 ·doi:10.1162/153244303321897681
[5] Y.本吉奥。;俄勒冈州德拉鲁。;Roux,N.L.,《局部内核机器的高变量函数的诅咒》(2005),剑桥
[6] Blockeel,H.、De Raedt,L.和Ramon,J.(1998年)。聚类树的自顶向下诱导。在美国威斯康星州麦迪逊举行的第十五届机器学习国际会议上·Zbl 0909.68034号
[7] Blockeel,H.、Dzeroski,S.、Kompare,B.、Kramer,S.,Pfahringer,B.和Laer,W.(2004)。预测生物降解性的实验。应用人工智能,18(2),157-181·doi:10.1080/08839510490279131
[8] Bordes,A.、Ertekin,S.、Weston,J.和Bottou,L.(2005年)。具有在线和主动学习功能的快速内核分类器。机器学习研究杂志,61579-1619·Zbl 1222.68152号
[9] Caponnetto,A.、Micchelli,C.、Pontil,M.和Ying,Y.(2008)。多任务学习的通用内核。机器学习研究杂志·Zbl 1225.68155号
[10] Caruana,R.(1997)。多任务学习。机器学习,28(1),41-75·doi:10.1023/A:1007379606734
[11] Chapelle,O.、Vapnik,V.、Bousquet,O.和Mukherjee,S.(2002年)。为支持向量机选择多个参数。机器学习,46(1-3),131-159·Zbl 0998.68101号 ·doi:10.1023/A:1012450327387
[12] Cortes,C.和Vapnik,V.(1995年)。支持向量网络。机器学习,20,1-25。
[13] 北卡罗来纳州克里斯蒂亚尼尼。;肖-泰勒,J。;Elisseef,A。;Kandola,J.,《关于核目标对齐》(2001),剑桥
[14] Cucker,F.和Smale,S.(2002年)。关于学习的数学基础。美国数学学会公报(新系列),39(1),1-49·Zbl 0983.68162号 ·doi:10.1090/S0273-00979-01-00923-5
[15] Cumby,C.M.和Roth,D.(2003年)。关于关系学习的核心方法。《第二十届机器学习国际会议论文集》(第107-114页),美国华盛顿特区·Zbl 1222.68277号
[16] Datta,P.和Kibler,D.F.(1993年)。概念共享:一种改进多概念学习的方法。第十届机器学习国际会议论文集,美国马萨诸塞州阿默斯特·Zbl 1105.68392号
[17] Davis,J。;伯恩赛德,E。;卡斯特罗·杜特拉,I。;页码,D。;Costa,V.S.,《学习贝叶斯规则网络的综合方法》,波尔图,葡萄牙,柏林
[18] De Raedt,L.(2008)。逻辑和关系学习。柏林:斯普林格·Zbl 1203.68145号 ·doi:10.1007/978-3-540-68856-3
[19] De Raedt,L.和Ramon,J.(2004)。归纳逻辑程序设计的简明表示。第九届知识表示与推理原则国际会议论文集·Zbl 1083.68100号
[20] De Raedt,L.、Lavrac,N.和Dzeroski,S.(1993)。多谓词学习。第13届人工智能国际联合会议论文集(第1037-1043页),法国尚贝里。
[21] De Raedt,L.、Frasconi,P.、Kersting,K.和Muggleton,S.(2008)。计算机科学课堂讲稿:第4911卷。概率归纳逻辑程序设计理论与应用。柏林:斯普林格·Zbl 1132.68007号
[22] Dehaspe,L.、Toivonen,H.和King,R.(1998年)。在化合物中发现频繁的亚结构。第四届知识发现和数据挖掘国际会议论文集。
[23] Deshpande,A.、Milch,B.、Zettlemoyer,L.和Kaelbling,L.(2007年)。学习多任务的概率关系动力学。《第23届人工智能不确定性会议论文集》(UAI-07)(第83-92页)。
[24] Evgeniou,T.、Miccelli,C.A.和Pontil,M.(2005)。使用内核方法学习多个任务。机器学习研究杂志,6615-637·Zbl 1222.68197号
[25] Fang,H.,Tong,W.,Shi,L.,Blair,R.,Perkins,R.、Branham,W.、Hass,B.、Xie,Q.、Dial,S.、Moland,C.和Sheehan,D.(2001)。多种天然、合成和环境雌激素的结构-活性关系。毒理学化学研究,14(3),280-294·数字对象标识代码:10.1021/tx000208y
[26] Frasconi,P.、Passerini,A.、Muggleton,S.和Lodhi,H.(2005)。声明性内核。在Kramer,S.和Pfahringer,B.(Eds.),《第15届归纳逻辑编程国际会议论文集》,最新论文(第17-19页)。
[27] Frasconi,P。;Jaeger,M。;Passerini,A.,《带类型扩展树的特征发现》,第5194号(2008),柏林·Zbl 1156.68531号
[28] Freund,Y.和Schapire,R.(1999)。使用感知器算法进行大边缘分类。机器学习,37(3),277-296·Zbl 0944.68535号 ·doi:10.1023/A:1007662407062
[29] Gärtner,T.(2003)。结构化数据的内核调查。SIGKDD探索,5(1),49-58·数字对象标识代码:10.1145/959242.959248
[30] Gärtner,T.、Lloyd,J.和Flach,P.(2004年)。结构化数据的内核和距离。机器学习,57(3),205-232·Zbl 1079.68086号 ·doi:10.1023/B:MACH.0000039777.23772.30
[31] Getoor,L.和Taskar,B.(2007年)。统计关系学习导论。剑桥:麻省理工学院出版社·Zbl 1141.68054号
[32] Höffgen,K.-U.,Simon,H.-U.和van Horn,K.S.(1995)。单个神经元的鲁棒可训练性。《计算机与系统科学杂志》,50(1),114-125·Zbl 0939.68771号 ·doi:10.1006/jcss.1995.1011
[33] Jebara,T.(2004)。SVM的多任务功能和内核选择。加拿大阿尔伯塔省班夫市第21届机器学习国际会议论文集。
[34] Joachims,T.,《使大规模支持向量机学习实用化》,169-184(1999),剑桥
[35] Karalić,A.和Bratko,I.(1997年)。一阶回归。机器学习,26(2-3),147-176·兹伯利0866.68089 ·doi:10.1023/A:1007365207130
[36] Kersting,K。;De Raedt,L。;Getoor,L.(编辑);Taskar,B.(编辑),《贝叶斯逻辑编程:理论和工具》(2007),剑桥
[37] Khan,K。;麻格尔顿,S。;Parson,R.,使用谓词发明重复学习,美国威斯康星州麦迪逊,柏林
[38] Kimeldorf,G.S.和Wahba,G.(1970年)。随机过程的贝叶斯估计与样条平滑之间的对应。《数理统计年鉴》,41495-502·Zbl 0193.45201号 ·doi:10.1214/aoms/1177697089
[39] King,R.、Srinivasan,A.和Sternberg,M.(1995)。将化学活性与结构联系起来:检查ILP的成功。新一代计算,13(2,4),411-433·doi:10.1007/BF03037232
[40] Kirsten,M。;Wrobel,S。;Horváth,T.,关系学习和聚类的基于距离的方法,213-230(2001),柏林
[41] 科克,S。;多明戈斯,P.,《学习马尔可夫逻辑网络的结构》,波恩,德国,纽约·数字对象标识代码:10.1145/102351.1102407
[42] 克莱默,S。;De Raedt,L.,《生物化学应用的版本空间特征构建》,258-265(2001),圣马特奥
[43] Lanckriet,G.R.G.、Cristianini,N.、Bartlett,P.、Ghaoui,L.E.和Jordan,M.I.(2004年)。用半定规划学习核矩阵。机器学习研究杂志,5,27-72·Zbl 1222.68241号
[44] Landwehr,N.、Kersting,K.和De Raedt,L.(2005)。nFOIL:集成朴素贝叶斯和FOIL。《第20届全国人工智能会议论文集》(第795-800页),美国宾夕法尼亚州匹兹堡·兹比尔1222.68242
[45] Landwehr,N.、Passerini,A.、De Raedt,L.和Frasconi,P.(2006)。kFOIL:学习简单的关系内核。2006年7月16日至20日在美国马萨诸塞州波士顿举行的第21届全国人工智能会议论文集·Zbl 1470.68129号
[46] Lavrac,N.和Dzeroski,S.(1994年)。ILP:技术和应用。奇切斯特:埃利斯·霍伍德。
[47] Leslie,C.S.、Eskin,E.和Noble,W.S.(2002)。光谱核:用于支持向量机蛋白质分类的字符串核。太平洋生物计算研讨会(第566-575页),美国夏威夷利休。
[48] Lloyd,J.W.(1987)。逻辑编程基础(第二扩展版)。柏林:斯普林格·Zbl 0668.68004号
[49] Lodhi,H.、Saunders,C.、Shawe-Taylor,J.、Cristianini,N.和Watkins,C.(2002)。使用字符串内核进行文本分类。机器学习研究杂志,2419-444·Zbl 1013.68176号 ·doi:10.1162/1532443027600687
[50] Micchelli,C.A.和Pontil,M.(2005)。通过正则化学习核函数。机器学习研究杂志,6,1099-1125·Zbl 1222.68265号
[51] Micchelli,C.、Xu,Y.和Zhang,H.(2006)。通用内核。机器学习研究杂志,72651-2667·Zbl 1222.68266号
[52] Muggleton,S.(2000年)。学习随机逻辑程序。在Getoor,L.&Jensen,D.(编辑),AAAI2000研讨会论文集,关于从关系数据学习统计模型·Zbl 0979.68082号
[53] Muggleton,S.和De Raedt,L.(1994)。归纳逻辑程序设计:理论和方法。逻辑编程杂志,19/20629-679·Zbl 0816.68043号 ·doi:10.1016/0743-1066(94)90035-3
[54] 麻格尔顿,S。;阿米尼,A。;Sternberg,M.,支持向量归纳逻辑编程,新加坡,柏林
[55] Obozinski,G.、Taskar,B.和Jordan,M.(2006年6月)。多任务功能选择。技术报告,加州大学伯克利分校统计系。
[56] Ong,C.S.、Smola,A.J.和Williamson,R.C.(2005)。用超内核学习内核。机器学习研究杂志,61043-1071·兹比尔1222.68277
[57] Passerini,A.、Frasconi,P.和De Raedt,L.(2006)。序言证明树上的内核:ILP设置中的统计学习。在概率、逻辑和关系学习中进行综合·Zbl 1222.68280号
[58] Platt,J.(1999)。序列最小优化:一种训练支持向量机的快速算法。《内核方法的进展:支持向量学习》(第185-208页)。
[59] Poggio,T.和Smale,S.(2003年)。学习的数学:处理数据。美国数学学会通告,50(5),537-544·Zbl 1083.68100号
[60] Popescul,A.、Ungar,L.、Lawrence,S.和Pennock,D.(2003)。用于文档挖掘的统计关系学习。第三届IEEE数据挖掘国际会议论文集(第275-282页)·Zbl 1222.68152号
[61] Provost,F.、Fawcett,T.和Kohavi,R.(1998年)。针对比较归纳算法的准确性估计的情况。在美国威斯康星州麦迪逊举行的第十五届机器学习国际会议上。
[62] Quinlan,J.(1990)。从关系中学习逻辑定义。机器学习,5239-266。
[63] Rakotomamonjy,A.(2004)。使用SVM优化ROC曲线下的面积。在意大利比萨举行的第15届欧洲人工智能会议上,在人工智能领域的ROC分析研讨会上·Zbl 1084.68551号
[64] Ramon,J.(2002)。一阶逻辑中的聚类和基于实例的学习。比利时鲁汶卡托利耶克大学博士论文·Zbl 1118.62330号
[65] Ramon,J。;Bruynooghe,M.,定义一阶逻辑对象之间距离的框架,美国威斯康星州麦迪逊,柏林
[66] Reid,M.D.,《使用多任务学习改进规则评估》,波尔图,葡萄牙,柏林·Zbl 1105.68392号
[67] Rückert,U.和Kramer,S.(2007年)。基于Margin的一阶规则学习。机器学习,70(2-3),189-206·Zbl 1470.68166号
[68] Saigo,H.、Nowozin,S.、Kadowaki,T.、Kudo,T.和Tsuda,K.(2009年)。gBoost:用于图形分类和回归的数学编程方法。机器学习,75(1),69-89·Zbl 1470.68167号 ·doi:10.1007/s10994-008-5089-z
[69] Shalev-Shwartz,S.、Singer,Y.和Srebro,N.(2007年)。Pegasos:SVM的原始估计亚GrAdient SOlver。第24届机器学习国际会议论文集(第807-814页),美国俄勒冈州科瓦利斯·Zbl 1211.90239号
[70] Shawe-Taylor,J.和Cristianini,N.(2004)。模式分析的核心方法。剑桥:剑桥大学出版社。
[71] Slattery,S。;Craven,M.,《结合统计和关系方法在超文本领域学习》,麦迪逊,威斯康星州,美国,柏林
[72] Srinivasan,A.、Muggleton,S.、King,R.和Sternberg,M.(1996年)。致突变性理论:一级和基于特征的诱导研究。人工智能,85,277-299·doi:10.1016/0004-3702(95)00122-0
[73] Srinivasan,A。;金·R·D。;Bristol,D.,ILP辅助毒理学模型和PTE-3实验的评估,布莱德,斯洛文尼亚,1999年6月24日至27日,柏林
[74] Steck,H.(2007)。铰链秩损失和ROC曲线下的面积。第18届欧洲机器学习会议论文集,波兰华沙。
[75] Swamidass,S.J.、Chen,J.、Bruand,J.,Phung,P.、Ralaivola,L.和Baldi,P.(2005)。小分子核的诱变性、毒性和抗癌活性预测。生物信息学,21(1),359-368·doi:10.1093/bioinformatics/bti1055
[76] Wachman,G.和Khardon,R.(2007年)。从解释中学习:有序超图的根内核。第24届机器学习国际会议论文集,美国俄勒冈州科瓦利斯。
[77] Weston,J.、Schölkopf,B.、Eskin,E.、Leslie,C.和Noble,W.(2003)。处理核矩阵中的大对角线。《统计数学研究所年鉴》,55(2),391-408·Zbl 1172.68584号
[78] Wheeler,D.L.L.、Barrett,T.、Benson,D.A.A.、Bryant,S.H.H.、Canese,K.、Chetvernin,V.、Church,D.M.、Dicuccio,M.、Edgar,R.、Federhen,S.、Feolo,M.,Geer,L.Y.、Helmberg,W.、Kapustin,Y.、Khovayko,O.、Landsman,D.、Lipman,D.J.、Madden,T.L.,Maglott,D.R.、Miller,V.,Ostell,J.、Pruitt,K.D.、Schuler,G.D。D.、Shumway,M.、Sequeira,E.、Sherry,S.T.、Sirotkin,K.、Souvorov,A.、Starchenko,G.、Tatusov,R.L.、Tatursova,T.A.、Wagner,L.和Yaschenko,E.(2008)。国家生物技术信息中心的数据库资源。核酸研究。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。