×

结构化大利润机器:对数据分布敏感。 (英语) Zbl 1470.68205号

摘要:本文提出了一种新的大边缘分类器——结构化大边缘机器(SLMM),它对数据分布的结构非常敏感。SLMM方法结合了“结构化”学习模型(如径向基函数网络和高斯混合模型)的优点,以及“非结构化”大边缘学习方案(如支持向量机和最大-最小边缘机)的优点。我们在分析现有的结构化和非结构化学习模型的基础上,从“结构化度”和“同态空间”的概念推导出SLMM模型。然后,通过对输入数据(或核空间中的数据映射)使用Ward的凝聚层次聚类来提取底层数据结构,我们将SLMM训练表示为一个连续的二阶锥规划。阐述了SLMM方法的许多有前途的特性,包括其准确性、可扩展性、可扩展性和噪声容忍度。我们还证明了SLMM模型的理论重要性,它概括了现有的方法,如SVM和M{4},为学习模型提供了新的见解,并为构思其他“结构化”分类器奠定了基础。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Andersen,E.D.和Andersen A.D.(2001年)。线性规划的MOSEK内点优化器:同构算法的实现。在高性能优化中(第197–232页)。多德雷赫特:克鲁沃学院·Zbl 1028.90022号
[2] Burges,C.(1998年)。模式识别支持向量机教程。数据挖掘和知识发现,2121-167·doi:10.1023/A:1009715923555
[3] Christodoulou,C.和Pattichis,C.(1999)。肌电信号分类的无监督模式识别。IEEE生物医学工程学报,46(2),169-178·doi:10.1109/10.740879
[4] Devroye,L.、Gyorfi,L.和Lugosi,G.(1996)。模式识别的概率理论。柏林:斯普林格·Zbl 0853.68150号
[5] 杜达·R、哈特·P和斯托克·D·G(2001)。图案分类(第二版)。纽约:Wiley·Zbl 0968.68140号
[6] El-Hamdouchi,A.和Willett,P.(1989年)。文献检索的层次聚集聚类方法比较。《计算机杂志》,32(3),220–227·doi:10.1093/comjnl/3.2320
[7] Everitt,S.、Landau,S.和Leese,M.(2001)。聚类分析。伦敦:霍德·Zbl 1205.62076号
[8] Fisher,R.(1936年)。在分类问题中使用多重测量。优生学年鉴,7179-188。
[9] Girolma,M.(2002)。特征空间中基于Mercer核的聚类。IEEE神经网络汇刊,13(3),780-784·doi:10.1109/TNN.2002.1000150
[10] Haykin,S.(1999)。神经网络:综合基础。新泽西州:Prentice Hall·Zbl 0934.68076号
[11] Hsu,C.W.和Lin,C.J.(2002)。多类支持向量机方法的比较。IEEE神经网络汇刊,13(2),415–425·doi:10.1109/TNN.2002.1000139
[12] Huang,K.、Yang,H.、King,I.和Lyu,M.R.(2004年a)。学习本地和全球的大利润分类器。摘自:2004年加拿大班夫第21届机器学习国际会议论文集。
[13] Huang,K.、Yang,H.、King,I.、Lyu,M.R.和Chan,L.(2004b)。最小误差最小最大概率机。机器学习研究杂志,51253–1286·Zbl 1222.62071号
[14] Jain,A.K.和Dubes,R.(1988年)。聚类数据的算法。新泽西州:Prentice Hall·兹比尔0665.62061
[15] Lanckriet,G.R.G.、Ghaoui,L.E.、Bhattacharyya,C.和Jordan,M.I.(2002)。一种稳健的极小极大分类方法。机器学习研究杂志,3555–582·Zbl 1084.68657号 ·doi:10.1162/153244303321897726
[16] Lobo,M.、Vandenberghe,L.、Boyd,S.和Lebret,H.(1998)。二阶锥规划的应用。线性代数及其应用,284193-228·兹比尔0946.90050 ·doi:10.1016/S0024-3795(98)10032-0
[17] Mukherjee,B.、Heberlein,L.和Levitt,K.(1994年)。网络入侵检测。IEEE神经网络汇刊,8(3),26–41。
[18] Osuna,E.、Freund,R.和Girosi,F.(1997)。训练支持向量机:人脸检测的应用。1997年IEEE计算机视觉和模式识别会议论文集(第130-136页)。
[19] Platt,J.、Cristianini,N.和Shawe-Taylor,J.(2000)。大幅度DAGS用于多类分类。神经信息处理系统进展,12547–553。
[20] Rätsch,G.、Onoda,T.和Müller,K.R.(2001)。AdaBoost的利润率较低。机器学习,42(3),287–320·兹伯利0969.68128 ·doi:10.1023/A:1007618119488
[21] Salvador,S.和Chan,P.(2004)。确定分层聚类/分段算法中的聚类/分段数。第16届IEEE人工智能工具国际会议论文集(第576–584页)。
[22] Schölkopf,B.、Mika,S.、Burges,C.、Knirsch,P.、Müller,K.-R.、Rätsch,G.和Smola,A.(1999年)。基于内核的方法中的输入空间与特征空间。IEEE神经网络汇刊,10(5),1000-1017·数字对象标识代码:10.1109/72.788641
[23] Schölkopf,B.、Smola,A.和Müller,K.-R(1998)。非线性分量分析是一个核心特征值问题。神经计算,101299-1319·doi:10.1162/08997669830017467
[24] Smola,A.、Bartlett,P.、Schölkopf,B.和Schurmans,D.(2000年)。大幅度分类器的进展。剑桥:麻省理工学院·Zbl 0988.68145号
[25] Sturm,J.(1999)。使用Sedumi 1.02,一个用于对称锥体优化的Matlab工具箱。优化方法和软件,11625–653·Zbl 0973.90526号 ·doi:10.1080/10556789908805766
[26] Vapnik,V.N.(1999)。统计学习理论的本质。纽约:施普林格·Zbl 0928.68093号
[27] Veeramachaneni,S.和Nagy,G.(2005年)。使用二阶统计设置上下文样式。IEEE模式分析和机器智能汇刊,27(1),14–22·doi:10.1010/TPAMI.2005.19
[28] Wang,D.,Yeung,D.S.,&Tsang,E.(2005)。通过数据结构分析对SVM进行样本缩减。《IEEE系统、人和控制论国际会议论文集》SMC’05(第1030–1035页),美国夏威夷。
[29] Ward,J.H.(1963年)。分层分组以优化目标函数。美国统计协会杂志,58236-244·doi:10.2307/2282967
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。