×

分类学习方面——回顾学习矢量量化的最新发展。 (英语) Zbl 1328.68166号

分类是机器学习中最常见的任务之一。然而,分类任务以及分类器方法的多样性是巨大的。因此,问题就来了:哪个分类器适合于给定的问题,或者我们如何在分类学习中针对不同的任务使用特定的分类器模型。本文将学习矢量量化分类器作为最直观的基于原型的分类模型之一。重点介绍了近年来提出的基本学习矢量量化算法的最新扩展和修改,并针对不平衡和/或不完整数据、先验数据知识、,分类保证或自适应数据度量以实现最佳分类。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] F.Aiolli和A.Sperduti。提高利润率的再加权策略。人工智能,137:197-2162002·兹比尔0995.68076
[2] N.Aronszajn。再生核理论。美国数学学会学报,68:337-4041950·Zbl 0037.20701号
[3] A.Backhaus和U.Seiffert。高维光谱数据的分类:准确性vs.可解释性vs.模型大小。神经计算,出版页,2014年。;
[4] Y.本吉奥。学习人工智能的深层架构。机器学习的基础和趋势,2(1):1-1272009·Zbl 1192.68503号
[5] B.哈默和A.Hasenfuss。相关神经气体。Künstliche Intelligenz,第190-204页,2007年。;
[6] M.贝尔。欣赏LVQ:相关学习向量量化中的自适应距离度量。KI-Künstliche Intelligenz,26:391-3952012。;
[7] M.Biehl、K.Bunte和P.Schneider。通过矩阵相关学习矢量量化分析流式细胞术数据。《公共科学图书馆·综合》,8(3):e594012013。;
[8] M.Biehl、A.Ghosh和B.Hammer。LVQ算法的动态性和泛化能力。机器学习研究杂志,8:323-360,2007·Zbl 1222.68149号
[9] M.Biehl、B.Hammer和T.Villmann。基于原型分类的距离度量。In N.Petkov,编辑,《2013年灵感计算国际研讨会论文集》(Cetraro/意大利),出版页。施普林格,2014。;
[10] M.贝尔、M.卡登和T.维尔曼。通过学习矢量量化分类器进行统计质量度量和ROC优化。编辑H.Kestler、M.Schmid、H.Binder和B.Bischl,《第46届统计计算研讨会论文集》(Ulm/Reisensburg 2014),Ulmer Informatik-Berichte第2014-xxx号,已接受页面。德国乌尔姆大学,2014年·Zbl 1417.68171号
[11] M.Biehl、P.Schneider、D.Smith、H.Stiekema、A.Taylor、B.Hughes、C.Shackleton、P.Stewart和W.Arlt。基质相关性LVQ在基于类固醇代谢组学的肾上腺肿瘤分类中的应用。编辑M.Verleysen,Proc。欧洲人工神经网络、计算智能和机器学习研讨会(ESANN’2012),第423-428页,比利时卢瓦因·拉努夫,2012年。i6doc.com网站。;
[12] C.毕晓普。模式识别和机器学习。施普林格,2006年·Zbl 1107.68072号
[13] T.Bojer、B.Hammer、D.Schunk和T.von Toschanowitz K.学习矢量量化中的相关性确定。在第九届欧洲人工神经网络研讨会上。ESANN’2001年。诉讼程序。D-Facto,比利时埃弗尔,第271-62001页。;
[14] C.Bouveyron、S.Girard和C.Schmid。高维数据聚类。计算统计与数据分析,57(1):502-5192007·Zbl 1452.62433号
[15] A.布拉德利。在机器学习算法评估中使用ROC曲线下的面积。模式识别,30(7):1149-11551997。;
[16] K.Bunte、P.Schneider、B.Hammer、F.-M.Schleif、T.Villmann和M.Biehl。有限秩矩阵学习、区分维数缩减和可视化。神经网络,26(1):159-1732012。;
[17] T.Calinski和J.Harabacz。用于聚类分析的枝晶方法。统计传播,3:1-271974·Zbl 0273.62010
[18] K.Chidanananda和G.Krishna。使用相互最近邻概念的压缩最近邻规则。IEEE信息理论汇刊,25:488-4901979。;
[19] C.周。关于最佳识别错误和拒绝权衡。IEEE信息理论学报,16(1):41-461970·Zbl 0185.47804号
[20] A.Cichocki、R.Zdunk、A.Phan和S.-I.Amari。非负矩阵和张量因子分解。奇切斯特·威利,2009年。;
[21] R.Cilibrasi和P.Vitányi。压缩聚类。IEEE信息理论汇刊,51(4):1523-15452005·Zbl 1297.68097号
[22] T.Cover和P.Hart。最近邻模式分类。IEEE信息理论汇刊,13:21-271967·Zbl 0154.44505号
[23] K.Crammer、R.Gilad-Bachrach、A.Navot和A.Tishby。LVQ算法的裕度分析。在S.Becker、S.Thrun和K.Obermayer,编辑,《神经信息处理进展》(Proc.NIPS2002),第15卷,第462-469页,马萨诸塞州剑桥市,2003年。麻省理工学院出版社。;
[24] N.Cristianini和J.Shawe Taylor。支持向量机和其他基于内核的学习方法简介。剑桥大学出版社,2000年·Zbl 0994.68074号
[25] J.Davis和M.Goadrich。精确再调用和ROC曲线之间的关系。《第23届国际机器学习会议论文集》,ICML'06,第233-240页,美国纽约州纽约市,2006年。ACM。;
[26] R.Duda和P.Hart。模式分类和场景分析。威利,纽约,1973年·Zbl 0277.68056号
[27] T.福塞特。ROC分析简介。模式识别信件,27:861-8742006。;
[28] L.Fischer、D.Nebel、T.Villmann、B.Hammer和H.Wersing。学习矢量量化的拒绝策略——概率和确定性方法的比较。T.Villmann、F.-M.Schleif、M.Kaden和M.Lange编辑,《自组织地图的进展:2014年第十届WSOM国际研讨会》,Mittweida,《智能系统和计算的进展》,接受页,柏林,2014年。施普林格。;
[29] R.Fisher。在分类问题中使用多重测量。优生学年鉴,7(2):179-1881936。;
[30] T.Geweniger、P.Schneider、F.-M.Schleif、M.Biehl和T.Villmann。扩展RSLVQ以处理具有不确定类分配的数据点。机器学习报告,3(MLR-02-2009):1-172009。ISSN:1865-3960,网址:http://www.uni-leipzig.de/组件/mlr/mlr02_2009.pdf。;
[31] T.Geweniger和T.Villmann。扩展FSNPC以处理具有模糊类分配的数据点。编辑M.Verleysen,Proc。欧洲人工神经网络研讨会(ESANN’2010),第399-404页,比利时埃弗尔,2010年。d-side出版物。;
[32] T.Geweniger、D.Zühlke、B.Hammer和T.Villmann。聚类不同数据的中值模糊c均值。神经计算,73(7-9):1109-11162010。;
[33] 顾总、邵总、李立群和傅云霞。判别指标:Schatten范数与向量范数。程序中。第21届国际模式识别大会(ICPR 2012),第1213-1216页,2012年。;
[34] B.哈默、M.斯特里克特和T.维尔曼。LVQ与SVM的相关性。人工智能与软计算(ICAISC 2004)编辑L.Rutkowski、J.Siekmann、R.Tadeusiewicz和L.Zadeh,《人工智能3070课堂讲稿》,第592-597页。斯普林格·弗拉格,柏林-海德堡,2004年·Zbl 1058.68562号
[35] B.Hammer、M.Strickert和T.Villmann。关于GRLVQ网络的泛化能力。《神经处理快报》,21(2):109-1202005。;
[36] B.Hammer、M.Strickert和T.Villmann。用一般相似性度量监督神经气体。《神经处理快报》,21(1):21-442005。;
[37] B.哈默和T.维尔曼。广义相关学习矢量量化。神经网络,15(8-9):1059-10682002。;
[38] J.Hanley和B.McNeil。接收机工作特性下区域的含义和用途。放射学,143:29-361982年。;
[39] P.哈特。压缩最近邻规则。IEEE信息理论汇刊,14:515-5161968。;
[40] T.Hastie、R.Tibshirani和J.Friedman。统计学习的要素。斯普林格·弗拉格(Springer Verlag),海德堡-伯林(Heidelberg-Berlin),2001年·Zbl 0973.62007号
[41] S.海金。神经网络-综合基础。IEEE出版社,纽约,1994年·Zbl 0828.68103号
[42] R.Horn和C.Johnson。矩阵分析。剑桥大学出版社,第2版,2013年·Zbl 1267.15001号
[43] J.Huang和C.X.Ling。使用AUC和准确性评估学习算法。IEEE知识与数据工程汇刊,17(3):299-3102005。;
[44] M.Kaden、W.Hermann和T.Villmann。基于学习矢量量化的分类通用统计精度度量优化。编辑M.Verleysen,Proc。欧洲人工神经网络、计算智能和机器学习研讨会(ESANN’2014),第47-52页,比利时卢瓦因·拉努夫,2014年。i6doc.com网站。;
[45] M.卡登和T.维尔曼。一种基于广义学习向量量化的统计分类度量优化框架。机器学习报告,7(MLR-02-2013):69-762013。ISSN:1865-3960,http://www.techfak.uni-bielefeld.de/fschleif/mlr/mlr02_2013.pdf。;
[46] M.Kaden和T.Villmann。GLVQ中基于注意的分类学习和非对称分类错误评估。T.Villmann、F.-M.Schleif、M.Kaden和M.Lange编辑,《自组织地图的进展:2014年第十届WSOM国际研讨会》,Mittweida,《智能系统和计算的进展》,接受页,柏林,2014年。施普林格。;
[47] M.Kästner、D.Nebel、M.Riedel、M.Biehl和T.Villmann。广义矩阵学习矢量量化中的可微核。程序中。机器学习应用国际会议(ICMLA’12),第1-6页。IEEE计算机学会出版社,2012年。;
[48] M.Kästner、M.Riedel、M.Strickert、W.Hermann和T.Villmann。核化学习矢量量化中的边界敏感学习。在I.Rojas、G.Joya和J.Cabestany,编辑,Proc。第12届人工神经网络国际研讨会(IWANN),LNCS第7902卷,第357-366页,柏林,2013年。施普林格。;
[49] M.Kästner、M.Strickert、D.Labudde、M.Lange、S.Haase和T.Villmann。向量量化中相关度量在基因表达数据分析中的应用——最新进展综述。机器学习报告,6(MLR-04-2012):5-222012。ISSN:1865-3960,http://www.techfak.unibielefeld.de/fschleif/mlr/mlr04_2012.pdf。;
[50] S.Keerthi、O.Chapelle和D.DeCoster。构建分类器复杂度较低的支持向量机。机器学习研究杂志,7:1493-15152006·Zbl 1222.68230号
[51] T.Kohonen。自组织系统中模式拓扑图的自动形成。在E.Oja和O.Simula,编辑,Proc。2SCIA,扫描。图像分析会议,第214-220页,芬兰赫尔辛基,1981年。Suomen Hahmontunnistustutkimuksen Seura r.y。;
[52] T.Kohonen。《自组织地图》,《信息科学史普林格系列》第30卷。施普林格,柏林,海德堡,1995年。(1997年第二次扩展版)。;
[53] T.Kohonen、J.Kangas、J.Laaksonen和K.Torkkola。LVQ_PAK:正确应用学习向量量化算法的程序包。程序中。IJCNN’92,神经网络国际联合会议,第一卷,725-730页,新泽西州皮斯卡塔韦,1992年。IEEE服务中心。;
[54] 兰格先生。Partielle Korrelationen和部分相互信息zur对fMRT-Zeitreihen的分析。德国萨克森州密特威达应用科学大学硕士论文,2012年。;
[55] M.Lange、M.Biehl和T.Villmann。通过Hebbian学习进行非核素主成分分析。神经计算,出版页,2014年。;
[56] M.Lange、D.Nebel和T.Villmann。基于Hebbian学习的矩阵非核素主成分分析。L.Rutkowski、M.Korytkowski-R.Scherer、R.Tadeusiewicz、L.Zadeh和J.Zurada,《人工智能和软计算-程序》编辑。ICAISC国际会议,萨科帕内,LNAI 8467第1卷,第77-88页,柏林-海德堡,2014年。施普林格。;
[57] M.Lange和T.Villmann。lp-模的导数及其近似。机器学习报告,7(MLR-04-2013):43-592013。ISSN:1865-3960,http://www.techfak.uni-bielefeld.de/fschleif/mlr/mlr_04_2013.pdf。;
[58] M.Lange、D.Zühlke、O.Holz和T.Villmann。lp-norms及其平滑逼近在基于梯度的学习矢量量化中的应用。编辑M.Verleysen,Proc。欧洲人工神经网络、计算智能和机器学习研讨会(ESANN’2014),第271-276页,比利时卢瓦因·拉努夫,2014年。i6doc.com。;
[59] T.Martinetz和K.Schulten。表示网络的拓扑。神经网络,7(2),1994。;
[60] T.M.Martinetz、S.G.Berkovich和K.J.Schulten。”矢量量化的Neural-gas网络及其在时间序列预测中的应用。IEEE传输。神经网络,4(4):558-5691993。;
[61] C.Michelli、Y.Xu和H.Zhang。通用内核。机器学习研究杂志,7:26051-26672006·Zbl 1222.68266号
[62] M.Strickert、B.Labitzke、A.Kolb和T.Villmann。部分广义协方差的多光谱图像表征。In M.Verleysen,编辑,Proc。欧洲人工神经网络研讨会(ESANN’2011),第105-110页,比利时卢瓦因·拉纽夫,2011年。i6doc.com。;
[63] E.Mwebaze、P.Schneider、F.-M.Schleif、J.Aduwo、J.Quinn、S.Haase、T.Villmann和M.Biehl。学习矢量量化中基于散度的分类。神经计算,74(9):1429-14352011。;
[64] D.Nebel、B.Hammer和T.Villmann。用于学习不同数据的监督生成模型。编辑M.Verleysen,Proc。欧洲人工神经网络、计算智能和机器学习研讨会(ESANN’2014),第35-40页,比利时卢瓦因·拉纽夫,2014年。i6doc.com。;
[65] D.Nebel和T.Villmann。关于鲁棒软学习矢量量化与软最近原型分类的等价性。机器学习报告,7(MLR-02-2013):114-1182013。ISSN:1865-3960,http://www.techfak.uni-bielefeld.de/fschleif/mlr/mlr02_2013.pdf。;
[66] D.Nebel和T.Villmann。广义学习矢量量化的中间变量。M.Lee、A.Hirose、Z.-G.Hou和R.Kil编辑,《神经信息处理国际会议论文集》(ICONIP),LNCS第二卷,第19-26页,柏林,2013年。Springer-Verlag。;
[67] N.Niang和G.Saporta。监督分类和AUC。2009年,佛朗哥-布雷西里安研讨会,第32-33页。;
[68] D.Nova和P.Estévez。学习矢量量化分类器综述。神经计算与应用,2013年。;
[69] J.普林西比。信息理论学习。施普林格,海德堡,2010·Zbl 1206.94003号
[70] J.C.Principe、J.F.III和D.Xu。信息理论学习。《无监督自适应滤波》编辑S.Haykin著,威利出版社,纽约州纽约市,2000年·Zbl 0965.68135号
[71] A.秦和P.Suganthan。基于代价函数自适应的初始化不敏感LVQ算法。模式识别,38:773 U-7762004·兹比尔1074.68591
[72] A.秦和P.Suganthan。一种新的基于内核原型的学习算法。《第17届模式识别国际会议论文集》(ICPR'04),第4卷,第621-624页,2004年。;
[73] M.Riedel、D.Nebel、T.Villmann和B.Hammer。生成型与区分型基于原型的分类。T.Villmann、F.-M.Schleif、M.Kaden和M.Lange编辑,《自组织地图的进展:2014年第十届WSOM国际研讨会》,Mittweida,《智能系统和计算的进展》,接受页,柏林,2014年。施普林格。;
[74] C.Rijsbergen,《信息检索》。巴特沃斯,伦敦,第二版,1979年。;
[75] F.罗森布拉特。感知器:大脑中信息存储和组织的概率模型。《心理学评论》,65:386-4081958。;
[76] L.Sachs公司。Angewandte统计。Springer Verlag,第7版,1992年·Zbl 0755.6202号
[77] A.佐藤和K.山田。广义学习矢量量化。D.S.Touretzky、M.C.Mozer和M.E.Hasselmo编辑,《神经信息处理系统进展》8。1995年会议记录,第423-9页。麻省理工学院出版社,马萨诸塞州剑桥,美国,1996年。;
[78] R.Schatten。《跨空间理论》,《数学研究年鉴》第26卷。普林斯顿大学出版社,1950年·Zbl 0041.43502号
[79] F.-M.Schleif、T.Villmann和B.Hammer。临床蛋白质组学中基于原型的模糊分类。国际近似推理杂志,47(1):4-162008·Zbl 1183.68502号
[80] F.-M.Schleif、T.Villmann、B.Hammer和P.Schneider。高效的基于核化原型的分类。国际神经系统杂志,21(6):443-4572011。;
[81] F.-M.Schleif、T.Villmann、M.Kostrzewa、B.Hammer和A.Gammerman。通过质谱中的原型网络进行癌症信息学。医学人工智能,45(2-3):215-2282009。;
[82] F.-M.Schleif、X.Zhu和B.Hammer。用于相异数据的共形分类器。在L.I.I.Maglogiannis、H.Papadopoulos、K.Karatzas和S.Siouta,编辑,《2012年人工智能学报》,希腊哈尔基迪基,国际人工智能信息和通信技术进展第382卷,第234-243页,柏林,2012年。施普林格。;
[83] B.Schölkopf和A.Smola。用内核学习。麻省理工学院出版社,2002年·Zbl 1019.68094号
[84] P.Schneider、K.Bunte、H.Stiekema、B.Hammer、T.Villmann和M.Biehl。矩阵关联学习中的规则化。IEEE神经网络汇刊,21(5):831-8402010。;
[85] P.Schneider、T.Geweniger、F.-M.Schleif、M.Biehl和T.Villmann。鲁棒软LVQ中的多元类标记。编辑M.Verleysen,Proc。欧洲人工神经网络研讨会(ESANN’2011),第17-22页,比利时卢瓦因·拉纽夫,2011年。i6doc.com。;
[86] P.Schneider、B.Hammer和M.Biehl。学习矢量量化中的自适应相关矩阵。神经计算,21:3532-35612009·Zbl 1192.68537号
[87] P.Schneider、B.Hammer和M.Biehl。鉴别矢量量化中的远程学习。神经计算,21:2942-29692009·Zbl 1186.68390号
[88] C.Scovel、D.Hush、I.Steinwart和J.Theiler。径向核及其再生核Hilbert空间。《复杂性杂志》,26:641-6602010·Zbl 1225.46019号
[89] S.Seo、M.Bode和K.Obermayer。软最近原型分类。IEEE神经网络学报,14:390-3982003。;
[90] S.Seo和K.Obermayer。软学习矢量量化。神经计算,15:1589-16042003·Zbl 1085.68135号
[91] G.Shafer和V.Vovk。保角预测教程。《机器学习研究杂志》,9:371-4212008·Zbl 1225.68215号
[92] R.Shaffer、S.Rose Pehrsson和R.A.McGill。用于化学传感器阵列模式识别的概率神经网络:比较研究、改进和自动异常值排除。技术报告NRL/FR/6110-988-9879,海军研究实验室,华盛顿特区,1998年。;
[93] J.Shawe-Taylor和N.Cristianini。模式分析和发现的核心方法。剑桥大学出版社,2004·Zbl 0994.68074号
[94] I.斯坦瓦特。关于核对支持向量机一致性的影响。机器学习研究杂志,2:67-932001·Zbl 1009.68143号
[95] M.Strickert和K.Bunte。软秩邻居嵌入。编辑M.Verleysen,Proc。欧洲人工神经网络、计算智能和机器学习研讨会(ESANN’2013),第77-82页,比利时鲁汶-拉努夫,2013年。i6doc.com。;
[96] M.Strickert、F.-M.Schleif、U.Seiffert和T.Villmann。基于梯度的生物医学数据分析的皮尔逊相关性导数。人工智能,人工智能修订版,(37):37-442008。;
[97] M.Strickert、F.-M.Schleif、T.Villmann和U.Seiffert。释放皮尔逊相关性,以忠实分析生物医学数据。M.Biehl、B.Hammer、M.Verleysen和T.Villmann,《基于相似性的聚类》编辑,LNAI第5400卷,第70-91页。施普林格,柏林,2009年。;
[98] 托科拉。基于非参数互信息最大化的特征提取。机器学习研究杂志,3:1415-14382003·Zbl 1102.68638号
[99] S.Vanderlooy和E.Hüllermier。AUC变体的关键分析。机器学习,72:247-2622008·Zbl 1464.68320号
[100] V.Vapnik。统计学习理论。威利父子公司,纽约,1998年·Zbl 0935.62007号
[101] V.Vapnik和A.Chervonenkis。关于事件相对频率与其概率的一致收敛性。概率论及其应用,16(2):264-2801971·Zbl 0247.60005号
[102] T.维尔曼和S.哈斯。基于散度的矢量量化。神经计算,23(5):1343-13922011·兹比尔1216.68225
[103] T.维尔曼、S.哈斯和M.卡登。梯度学习中的核化矢量量化。神经计算,出版页,2014年。;
[104] T.Villmann、S.Haase和M.Kästner。使用可微核的矢量量化中基于梯度的学习。编辑P.Estevez、J.Principe和P.Zegers,《自组织地图的进展:2012年智利圣地亚哥WSOM第九届国际研讨会》,智能系统和计算进展第198卷,第193-204页,柏林,2013年。施普林格。;
[105] T.Villmann、B.Hammer、F.-M.Schleif、T.Geweniger和W.Herrmann。用模糊标记神经气体进行模糊分类。神经网络,19:772-7792006·Zbl 1102.68602号
[106] T.维尔曼、B.哈默、F.-M.施莱夫、W.赫尔曼和M.科特雷尔。利用信息论学习矢量量化进行模糊分类。神经计算,71:3070-30762008。;
[107] T.Villmann、F.-M.Schleif和B.Hammer。蛋白质组学中基于原型的局部相关性模糊分类。神经计算,69(16-18):2425-24282006年10月。;
[108] V.Vovk、A.Gammerman和G.Shafer。随机世界中的算法学习。施普林格,柏林,2005年·Zbl 1105.68052号
[109] A.Witoelar、A.Gosh、J.de Vries、B.Hammer和M.Biehl。学习矢量量化中基于窗口的示例选择。神经计算,22(11):2924-29612010·Zbl 1208.68187号
[110] Y.Wu、K.Ianakiev和V.Govindaraju。改进的k近邻分类。模式识别,35:2311-2318,2002·Zbl 1006.68885号
[111] D.Zühlke、T.Geweniger、U.Heimann和T.Villmann。Fuzzy Fleiss-Kappa用于比较模糊分类器。编辑M.Verleysen,Proc。欧洲人工神经网络研讨会(ESANN’2009),第269-274页,比利时埃弗尔,2009年。d-side出版物。;
[112] X.Zhu、F.-M.Schleif和B.Hammer。邻近数据的半监督矢量量化。In M.Verleysen,编辑,Proc。欧洲人工神经网络、计算智能和机器学习研讨会(ESANN’2013),第89-94页,Louvane La Neuve,比利时,2013年。i6doc.com网站。;
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。