×
王伯祥;邹慧

再次审视距离加权歧视。 （英语） Zbl 1380.62028号

J.R.Stat.Soc.，塞尔维亚。B、 统计方法。 80，第1期，177-198（2018）.
摘要：距离加权判别（DWD）是一种基于边缘的现代分类器，具有有趣的几何动机。它被认为是支持向量机（SVM）的竞争对手。尽管最近有很多关于DWD的参考，但DWD远不如SVM受欢迎，主要是因为计算和理论原因。我们极大地改进了当前的DWD方法及其学习理论。我们提出了一种新的求解标准DWD和广义DWD的节约算法，该算法比现有的基于二阶锥规划的最新算法快数百倍。此外，我们利用新算法设计了一个有效的方案来调整广义DWD。此外，我们在再生核Hilbert空间中构造了一种自然核DWD方法，然后利用高斯核等通用核建立了核DWD的Bayes风险一致性。这个结果解决了DWD文献中的一个开放的理论问题。对16个基准数据集的比较研究表明，与SVM相比，数据驱动的广义DWD始终能够以更少的计算时间提供更高的分类精度。

引用于16文件

MSC公司：

62C10个 贝叶斯问题；贝叶斯过程的特征
62B15号机组 统计实验理论

关键词：

贝叶斯风险一致性;分类;远距离歧视;内核学习;最优化原则;二阶锥规划

软件：

科恩拉布;随机森林;阿达·布斯特。MH公司
PDF格式BibTeX公司 XML格式引用
\textit｛B.Wang｝和\textit｛H.Zou｝，J.R.Stat.Soc.，Ser。B、 统计方法。80，第1号，177--198（2018；Zbl 1380.62028）
全文： 内政部

参考文献：

[1] Wahba，G.（1990年）·doi:10.1137/1.9781611970128
[2] 霍尔，P。；Marron，J.S。；Neeman，A.，《高维低样本数据的几何表示》，J.R.Statist。Soc.，67，427-444，（2005年）·Zbl 1069.62097号
[3] 哈斯蒂，T。；Tibshirani，R。；弗里德曼，J.（2009）·兹比尔1273.62005 ·doi:10.1007/978-0-387-84858-7
[4] 谢长廷。；Si，S。；Dhillon，I.，566-574，（2014）
[5] 黄，H。；刘，Y。；杜。Y.，Perou；C.、Hayes；D.托德；M；Marron，J.S.，《多类距离加权歧视》，J.Computen Graph。统计人员。，22, 953-969, (2013) ·doi:10.1080/10618600.2012.700878
[6] 黄，H。；卢，X。；刘，Y。；Haaland，P。；Marron，J.S.，R/DWD:分类、可视化和批量调整的距离加权判别，生物信息学，28，1182-1183，（2012）·doi:10.1093/bioinformatics/bts096
[7] 乔，X。；张磊，距离加权支持向量机，统计学。接口。，8、331-345（2015年a）·Zbl 1405.62083号 ·doi:10.4310/SII.2015.v8.n3.a7号文件
[8] 乔，X。；Zhang，L.，柔性高维分类机及其渐近性质，J.Mach。学习。第16号决议，1547-1572，（2015b）·Zbl 1351.68229号
[9] 乔，X。；张，H。；刘，Y。；托德，M。；Marron，J.S.，加权距离加权判别及其渐近性质，J.Am.Statist。助理，105，401-414，（2010）·Zbl 1397.62227号 ·doi:10.1198/jasa.2010.tm08487
[10] Steinwart，I.，《关于核对支持向量机一致性的影响》，J.Mach。学习。第267-93号决议，（2001年）·Zbl 1009.68143号
[11] 韦纳布尔斯。；Ripley，B.（2002）·doi:10.1007/978-0-387-21706-2
[12] 博伊德，S。；Vandenberghe，L.（2004）·doi:10.1017/CBO9780511804441
[13] 艾泽曼。；Braverman，E。；Rozoner，L.，模式识别学习中势函数方法的理论基础，Automn Remote Control，25821-837，（1964）·Zbl 0151.24701号
[14] Alizadeh，F。；Goldfarb，D.，二阶锥规划，数学。规划，95，3-51，（2004）·Zbl 1153.90522号 ·文件编号：10.1007/s10107-002-0339-5
[15] 安东尼，M。；Bartlett，P.（1999）·Zbl 0968.68126号 ·doi:10.1017/CBO9780511624216
[16] Bartlett，P。；乔丹，M。；McAuliffe，J.，凸性、分类和风险边界，J.Am.Statist。协会，101，138-156，（2006）·Zbl 1118.62330号 ·doi:10.1198/01621450000000907
[17] Bartlett，P。；肖-泰勒，J.，43-54，（1999）
[18] Breiman，L.，《随机森林》，马赫。学习。，45, 5-32, (2001) ·Zbl 1007.68152号 ·doi:10.1023/A:1010933404324
[19] Chen，T。；李，M。；李毅。；林，M。；Wang，N。；王，M。；肖，T。；徐，B。；张，C。；张，Z.，（2015）
[20] 陈，C。；Sun，D.F。；Toh，K.C.，一种用于高维凸复合圆锥规划的高效非精确对称高斯-赛德尔优化ADMM，数学。编程，161237-270，（2017）·Zbl 1356.90105号 ·doi:10.1007/s10107-016-1007-5
[21] De Leeuw，J。；W.Heiser，735-752，（1977年）
[22] 亨特，D。；Lange，K.，MM算法教程，美国统计局，58，30-37，（2004）·doi:10.1198/0003130042836
[23] Platt，J.，使用序列最小优化快速训练支持向量机，核方法的进展-支持向量学习，12，185-208，（1999）
[24] 亨特，D。；Li，R.，使用MM算法的变量选择，Ann.Statist。，33, 1617-1642, (2005) ·Zbl 1078.62028号 ·doi:10.1214/009053605000000200
[25] Jaakkola，T。；Haussler，D.，概率核回归模型，Proc。第七届国际Wrkshp人工智能与统计（1999）
[26] 卡拉佐格鲁，A。；Smola，A。；霍尼克，K。；Zeileis，A.，kernlab——R，J.Statist中内核方法的S4包。软件。，11, 1-20, (2004)
[27] Lam，X。；Marron，J.S。；Sun，D。；Toh，K.C.，（2017）
[28] 兰格，K。；亨特，D。；Yang，I.，使用替代目标函数的优化转移，J.计算图。统计人员。，9, 1-20, (2000)
[29] 兰格，K。；Zhou，H.，MM几何和符号编程算法，数学。计划，143，339-356，（2014）·Zbl 1286.90110号 ·doi:10.1007/s10107-012-0612-1
[30] 李晓东。；Sun，D.F。；Toh，K.C.，基于Schur补码的凸二次锥规划半近似ADMM及其扩展，数学。计划，155，333-373，（2016）·Zbl 1342.90134号 ·doi:10.1007/s10107-014-0850-5
[31] Liaw，A。；Wiener，M.，randomForest的分类和回归，R新闻，2，18-22，（2002）
[32] Lichman，M.（2013）
[33] Lin，Y.，支持向量机和分类中的贝叶斯规则，数据挖掘知识。发现。，6, 259-275, (2002) ·doi:10.1023/A:1015469627679
[34] Lin，Y.，关于分类中基于保证金的损失函数的注释，Statist。普罗巴伯。莱特。，68, 73-82, (2004) ·Zbl 1058.62052号 ·doi:10.1016/j.spl.2004.03.002
[35] Lin，Y。；Lee，Y。；Wahba，G.，非标准情况下分类的支持向量机，马赫数。学习。，46, 191-202, (2002) ·Zbl 0998.68103号 ·doi:10.1023/A:1012406528296
[36] 刘，Y。；张，H。；Wu，Y.，硬分类还是软分类？：大利润统一机器，美国统计杂志。助理，106，166-177，（2011）·Zbl 1396.62144号 ·doi:10.1198/jasa.2011.tm10319
[37] Marron，J.S.（2013）
[38] Marron，J.S.，《距离加权歧视》，Wiley Interdisc。修订版计算统计。，7, 109-114, (2015)
[39] Marron，J.S。；托德，M。；Ahn，J.，距离加权判别，J.Am.Statist。协会，102，1267-1271，（2007）·Zbl 1332.62213号 ·doi:10.1198/0162145000001120
[40] 梅耶，D。；Dimitriadou，E。；霍尼克，K。；Weingessel，A。；Leisch，F.（2015）
[41] 米切利，C。；Xu，Y。；Zhang，H.，Universal kernels，J.Mach。学习。第7号决议，2651-2667，（2006）·Zbl 1222.68266号
[42] Vapnik，V.（1995年）·数字对象标识代码：10.1007/978-1-4757-2440-0
[43] 瓦赫巴，G。；顾，C。；Wang，Y。；Campbell，R.，通过惩罚对数似然和平滑样条方差分析进行软分类，又名风险估计，圣达菲研究所复杂性科学研究程序。，20, 313-331, (1994) ·Zbl 0861.68079号
[44] 王，B。；Zou，H.，稀疏距离加权判别，J.计算图。统计人员。，25, 826-838, (2016) ·doi:10.1080/10618600.2015.1049700
[45] Wu，T。；Lange，K.，MM替代EM，Statist。科学。，25, 492-505, (2010) ·Zbl 1329.62106号 ·doi:10.1214/08-STS264
[46] Yang，Y。；Zou，H.，计算HHSVM及其推广的有效算法，J.计算图。统计人员。，22, 396-415, (2013) ·doi:10.1080/101816600.2012.680324
[47] Zhang，T.，基于凸风险最小化的分类方法的统计行为和一致性，Ann.Statist。，32, 56-134, (2004) ·Zbl 1105.62323号 ·doi:10.1214/aos/1079120130
[48] Zhang，Y。；杜奇，J。；Wainwright，M.，《分治核岭回归：具有最小最大最优速率的分布式算法》，J.Mach。学习。研究，16，3299-3340，（2015）·Zbl 1351.62142号
[49] 周，H。；Lange，K.，一些离散多元分布的MM算法，J.计算图。统计人员。，19, 645-665, (2010) ·doi:10.1198/jcgs.2010.09014
[50] 朱，J。；Hastie，T.，《核逻辑回归与输入向量机》，J.Computenl Graph。统计人员。，14, 185-205, (2005) ·doi:10.1198/106186005X25619
[51] 邹，H。；Li，R.，非冲突惩罚似然模型中的一步稀疏估计，Ann.Statist。，36, 1509-1533, (2008) ·Zbl 1142.62027号 ·doi:10.1214/0090536007000000802
[52] Vapnik，V.（1998）
[53] 费尔南德斯·德尔加多，M。；Cernadas，E。；巴罗，S。；Amorim，D.，我们需要数百个分类器来解决现实世界的分类问题吗？，J.马赫。学习。决议，第15号，第3133-3181页，（2014年）·Zbl 1319.62005号
[54] 弗伦德，Y。；Schapire，R.，《在线学习的决策理论推广及其在助推中的应用》，J.Compute。系统。科学。，55, 119-139, (1997) ·兹伯利0880.68103 ·doi:10.1006/jcss.1997.1504
[55] 里奇韦，G.（2017）
[56] 肖-泰勒，J。；克里斯蒂亚尼尼，N.，349-358，（2000）
[57] Wahba，G.，支持向量机，再生核Hilbert空间和随机GACV，核方法的进展-支持向量学习，6，69-87，（1999）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。