×

具有部分类成员关系的多类分类问题的监督学习算法。 (英语) Zbl 1241.68094号

摘要:在生物学、计算机视觉、社会网络分析和信息检索等多个应用领域中,出现了多类分类问题,其中数据实例不仅属于一个特定的类,而且表现出对多个类的部分隶属关系。现有的表示此类模糊信息的机器学习或模糊集方法主要集中在无监督方法上。相比之下,我们在本文中提出了用于部分类成员身份分类问题的监督学习算法,其中类成员身份代替清晰的类标签作为输入,用于将模型拟合到数据。使用核逻辑回归(KLR)作为基线方法,首先提出一种基本的一对一方法,用似然中[0,1]值的类成员替换二进制编码的标记向量。随后,我们使用这个KLR扩展作为基本分类器来构建一对一分解,其中部分类成员以成对的方式进行转换和估计。合成数据的经验结果和生物信息学的实际应用证实,我们的方法提供了有希望的结果。一对一方法产生了最佳的计算效率,而就预测性能而言,尤其是当观察到的类成员严重不平衡时,一对一的方法是首选的。

MSC公司:

68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Airoldi,E。;布莱,D。;费恩伯格,S。;Xing,E.,混合成员随机块模型,机器学习研究杂志,1981-2014年9月(2008年)·Zbl 1225.68143号
[2] Aitchison,J.,《成分数据的统计分析(含讨论)》,《皇家统计学会杂志》B,44,139-177(1982)·Zbl 0491.62017号
[3] Aitchison,J.,《单纯形上的一类一般分布》,英国皇家统计学会学报B,47136-146(1985)·Zbl 0582.62014号
[4] Aitchison,J.,《成分数据的统计分析》(1986),查普曼和霍尔出版社·Zbl 0688.62004号
[5] Allwein,E。;夏皮雷,R。;Singer,Y.,将多类简化为二进制:边缘分类器的统一方法,机器学习研究杂志,113-141(2000)·Zbl 1013.68175号
[6] Bezdek,J.C。;埃利希·R。;Full,W.,FCM-模糊c-均值聚类算法,计算机与地球科学,191-203年10月(1984)
[7] Bishop,C.,模式识别和机器学习(2006),Springer·Zbl 1107.68072号
[8] 布特尔,M。;罗,J。;沈,X。;Brown,C.,学习多标签场景分类,模式识别,371751-1771(2004)
[9] 布拉德利,R。;Terry,M.,不完全块设计的秩分析。一: 配对比较法,生物统计学,39,324-345(1952)·兹比尔0047.12903
[10] 巴鲁·P。;van Gaans,P。;MacMillan,R.,使用模糊k均值的高分辨率地形分类,模糊集和系统,113,37-52(2000)·Zbl 1147.62401号
[11] 蔡伟(Cai,W.)。;陈,S。;Zhang,D.,结合软类标签的鲁棒模糊关系分类器,模式识别字母,282250-2263(2007)
[12] Cheong,S。;哦,S。;Lee,S.,用于多类分类的二叉树结构支持向量机,神经信息处理,2,3,47-51(2004)
[13] 蒋,我。;Hsu,J.,数据分析的模糊分类树,模糊集与系统,130,87-99(2002)·Zbl 1012.68184号
[14] 克拉默,K。;Singer,Y.,《关于基于核的多类向量机的算法实现》,《机器学习研究杂志》,2265-292(2001)·Zbl 1037.68110号
[15] 克拉默,K。;Singer,Y.,《关于多类问题输出代码的可学习性和设计》,机器学习,47,2,201-233(2002)·Zbl 1012.68155号
[16] De Baets,B。;De Meyer,H.,互惠关系的及物性框架:循环及物性与FG公司-传递性,模糊集与系统,152249-270(2005)·Zbl 1114.91031号
[17] De Baets,B。;De Meyer,H。;De Schuymer,B。;Jenei,S.,互惠关系及物性的循环评价,《社会选择与福利》,26,217-238(2006)·Zbl 1158.91338号
[18] Demsar,J.,多个数据集上分类器的统计比较,机器学习研究杂志,7,1-30(2006)·Zbl 1222.68184号
[19] Dietterich,T.G。;Bakiri,G.,《通过纠错输出代码解决多类学习问题》,《人工智能研究杂志》,第2263-286页(1995年)·Zbl 0900.68358号
[20] 埃洛舍娃,E。;费恩伯格,S。;Lafferty,J.,科学出版物的混合成员模型,(美国国家科学院学报(2004))
[21] Felsenstein,J.,PHYLIP-系统发育推断包,分支系统学,5164-166(1989)
[22] Felsenstein,J.,推断系统发育(2004),Sinauer Associates Inc
[23] J.Friedman,《多光子分类的另一种方法》,《技术报告》,斯坦福大学统计系,1996年。URL\(\langle;\)http://www-stat.stanford.edu/\(\sim;\rangle;\);J.Friedman,《多光子分类的另一种方法》,《技术报告》,斯坦福大学统计系,1996年。URL \(\langle;\)http://www-stat.stanford.edu/\(\sim;\rangle;\)
[24] Fürnkranz,J.,《循环分类》,《机器学习研究杂志》,2723-747(2002)·Zbl 1033.68086号
[25] 葛姆雷,我。;Murphy,T.,等级数据的专家模型与选举研究应用的混合,应用统计年鉴,21452-1477(2008)·Zbl 1454.62498号
[26] Guermeur,Y.,大边界多类别分类器的VC理论,机器学习研究杂志,82551-2594(2007)·Zbl 1222.62070号
[27] 哈斯蒂,T。;Tibshirani,R.,《两两耦合分类》,《统计年鉴》,26451-471(1998)·Zbl 0932.62071号
[28] K.Heller,S.Williamson,Z.Ghahramani,部分成员的统计模型,摘自:《第25届机器学习会议论文集》,芬兰赫尔辛基,2008年,第392-399页。;K.Heller,S.Williamson,Z.Ghahramani,部分成员的统计模型,摘自:《第25届机器学习会议论文集》,芬兰赫尔辛基,2008年,第392-399页。
[29] 徐,C。;Lin,C.,多类支持向量机方法的比较,IEEE神经网络汇刊,13415-425(2002)
[30] Hüllermier,E。;Brinker,K.,《解决分类问题的学习值偏好结构》,模糊集与系统,159,2337-2352(2008)·Zbl 1187.68394号
[31] Hüllermier,E。;Fürnkranz,J。;程,W。;Brinker,K.,通过学习两两偏好进行标签排名,人工智能,1721897-1916(2008)·Zbl 1184.68403号
[32] 基尔西,S。;Duan,K。;谢瓦德,S。;Poo,A.,核逻辑回归的快速对偶算法,机器学习,61151-165(2005)·Zbl 1085.68127号
[33] Kimeldorf,G.S。;Wahba,G.,关于切比雪夫样条函数的一些结果,数学分析与应用杂志,33,82-95(1971)·Zbl 0201.39702号
[34] P.S.Koutsourelakis,T.Eliassi-Rad,《寻找社交网络中的混合成员》,载于:美国加州斯坦福大学AAAI社会信息处理春季研讨会论文集,2008年。;P.S.Koutsourelakis,T.Eliassi-Rad,《在社交网络中寻找混合成员》,载于《AAAI社交信息处理春季研讨会论文集》,美国加利福尼亚州斯坦福市,2008年。
[35] R.Luce,P.Suppes,《偏好、效用和主观概率》,收录于:《数学心理学手册》,威利出版社,1965年,第249-410页。;R.Luce,P.Suppes,《偏好、效用和主观概率》,收录于:《数学心理学手册》,威利出版社,1965年,第249-410页。
[36] Marttinen,P.等人。;Tang,J。;De Baets,B。;Dawyndt,P。;Corander,J.,使用拟似然方法对模糊特征向量进行贝叶斯聚类,IEEE模式分析和机器智能汇刊,3174-85(2009)
[37] Nisar-Ahamad,T。;Gropal-Rao,K。;Murthy,J.,基于GIS的农田适宜性分析模糊隶属度模型,农业系统,63,75-95(2000)
[38] C.Orsenigo,C.Vercellis,评估模糊离散SVM的成员函数,《计算机科学讲义》,第4578卷,2007年,第187-194页。;C.Orsenigo,C.Vercellis,评估模糊离散SVM的成员函数,《计算机科学讲义》,第4578卷,2007年,第187-194页·兹比尔1182.68180
[39] 普拉特,J。;北卡罗来纳州克里斯蒂亚尼尼。;Shawe-Taylor,J.,用于多类分类的大幅度DAG,神经处理系统进展,12547-553(2000)
[40] 价格,D。;Knerr,S。;Personnaz,L。;Dreyfus,G。;Dreyfus,L.,具有概率输出的成对神经网络分类器,(神经信息处理系统进展(1994),麻省理工学院出版社),1109-1116
[41] Refregier博士。;Vallet,F.,用神经网络进行多类分类的概率方法,(国际人工网络会议论文集(1991)),1003-1007
[42] 里夫金,R。;Klautau,A.,为一对多分类辩护,《机器学习研究杂志》,5101-143(2004)·Zbl 1222.68287号
[43] Ruspini,E.H.,《集群的新方法,信息和控制》,第15卷,第22-32页(1969年)·Zbl 0192.57101号
[44] Schölkopf,B。;Smola,A.,《使用内核学习、支持向量机、正则化、优化和超越》(2002),麻省理工学院出版社
[45] 斯拉宾克,B。;De Baets,B。;道恩特,P。;De Vos,P.,《利用机器学习技术实现基于FAME的大规模细菌物种识别》,《系统与应用微生物学》,32,163-176(2009)
[46] B.史密斯。;Rayens,W.,单纯形上的条件广义Liouville分布,统计学,36185-194(2002)·Zbl 1008.62015号
[47] Switalski,Z.,模糊互惠偏好矩阵的一般传递性条件,模糊集与系统,137,85-100(2003)·Zbl 1052.91033号
[48] J.Weston,C.Watkins,多类支持向量机,技术报告CSD-TR-98-04,英国伦敦大学皇家霍洛韦分校计算机科学系,1998年。;J.Weston,C.Watkins,多类支持向量机,技术报告CSD-TR-98-04,英国伦敦大学皇家霍洛韦计算机科学系,1998年。
[49] Woods,K。;库克,D。;鲍耶,K。;Stark,L.,在基于函数的对象识别系统中学习部分隶属函数,人工智能杂志,3187-222(1995)·Zbl 0900.68363号
[50] Wu,F。;林,C。;Weng,R.,通过两两耦合对多类支持向量机进行概率估计,机器学习研究杂志,5,975-1005(2004)·Zbl 1222.68336号
[51] 朱,J。;Hastie,T.,基因微阵列的惩罚logistic回归分类,生物统计学,5427-443(2004)·Zbl 1154.62406号
[52] 朱,J。;Hastie,T.,《核逻辑回归与输入向量机》,《计算与图形统计杂志》,第14期,第185-205页(2005年)
[53] Waegeman,W。;De Baets,B.,《两两多类分类中二分排名的及物性分析》,信息科学,1804099-4117(2010)·兹比尔1204.62103
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。