刘伟伟;Ivor W.曾。;穆勒，克劳斯·罗伯特 一种针对多个类和多个标签的轻松易学的学习模式。 （英语） Zbl 1441.62170号 J.马赫。学习。物件。 18（2017-2018），第94号论文，38页（2017）. 摘要：许多应用程序，例如人类行为识别和目标检测，都可以表述为多类分类问题。One-vs-rest（OVR）由于其简单性和优异的性能，是多类分类中应用最广泛的方法之一。然而，在这样的应用程序中，许多令人困惑的类会降低其结果。例如，拍手和拳击是两种令人困惑的动作。拍手很容易被误认为是拳击，反之亦然。因此，对容易混淆的类进行精确分类仍然是一项具有挑战性的任务。为了在具有混淆类的多类分类中获得更好的性能，我们首先开发了一个用于多类分类的分类器链模型（CCMC），以在分类器之间传递类信息。然后，在对我们提出的模型进行分析的基础上，我们提出了一种多类分类的易到难学习范式，以自动识别易类和难类，然后使用较简单类的预测来帮助解决较难类。与CCMC类似，分类器链（CC）模型也由J.阅读等[“多标签分类的分类器链”，Lect.Notes Comput.Sci.5782254–269（2009；Zbl 05617168号)]捕获多标签分类的标签依赖性。然而，CC没有考虑标签的难易程度，并且在存在许多令人困惑的标签时，性能会退化。因此，学习CC的适当标签顺序并非易事。受我们对CCMC分析的启发，我们还提出了多标签分类的易到难学习范式，以自动识别易标签和难标签，然后使用较简单标签的预测来帮助解决较难标签。我们还证明了我们提出的策略可以成功地应用于广泛的应用，例如顺序分类和关系预测。广泛的实证研究验证了我们的分析和我们提出的易学难学策略的有效性。 引用于2文件 MSC公司： 62H30型 分类和区分；聚类分析（统计方面） 68T05型 人工智能中的学习和自适应系统 关键词：多类别分类;多标签分类;分类器链;从易到难的学习模式 引文：Zbl 05617168号 软件：纽约大学深度;MULAN公司;Scikit公司 PDF格式BibTeX公司 XML格式引用 \textit{W.Liu}等人，J.Mach。学习。第18号决议，第94号论文，38页（2017年；Zbl 1441.62170） 全文： 链接 参考文献： [1] Jimmy Ba和Rich Caruana。深网真的需要深吗？在NIPS中，第2654-2662页，2014年。 [2] 彼得·巴特利特和约翰·肖·泰勒。支持向量机和其他模式分类器的泛化性能。《内核方法的进展-支持向量学习》，第43-54页。麻省理工学院出版社，马萨诸塞州剑桥，美国，1998年。 [3] Zafer Barutcuoglu、Robert E.Schapire和Olga G.Troyanskaya。基因功能的分层多标记预测。生物信息学，22（7）：830-8362006。 [4] 萨米·本吉奥、杰森·韦斯顿和大卫·格兰杰。大型多类任务的标签嵌入树。《神经信息处理系统进展》23，第163-171页，2010年。 [5] Yoshua Bengio、J´erŞome Louradour、Ronan Collobert和Jason Weston。课程学习。在ICML中，第41-48页，2009年。 [6] Alina Beygelzimer、John Langford、Yury Lifshits、Gregory B.Sorkin和Alexander L.Strehl。条件概率树估计分析和算法。《第二十五届人工智能不确定性会议论文集》，第51-58页，2009a。 [7] Alina Beygelzimer、John Langford和Pradeep Ravikumar。纠错比赛。《第20届算法学习理论会议论文集》，第247-262页，2009b·Zbl 1262.68148号 [8] Matthew R.Boutel、Jiebo Luo、Xipeng Shen和C.M.Christopher M.Brown。学习多标签场景分类。模式识别，37（9）：1757-17712004。 [9] Ignas Budvytis、Vijay Badrinayanan和Roberto Cipolla。使用半监督学习在复杂视频序列中进行标签传播。在英国机器视觉会议上，第1-12页。英国机器视觉协会，2010年。 [10] 陈耀南（Yao-Nan Chen）和林宣天（Hsuan-Tien Lin）。用于多标签分类的特征感知标签空间降维。《神经信息处理系统进展》25，第1538-1546页，2012年。 [11] Kai-Yang Chiang、Cho-Jui Hsieh、Nagarajan Natarajan、Inderjit S.Dhillon和Ambuj Tewari。签名网络中的预测和聚类：从局部到全局的角度。机器学习研究杂志，15（1）：1177-12132014·Zbl 1319.91134号 [12] 蒋凯扬、谢卓瑞和英迪尔吉特·S·迪伦。带有噪声侧信息的矩阵补全。在NIPS中，第3447-3455页，2015年。 [13] 魏楚（Wei Chu）和Zoubin Ghahramani。序数回归的高斯过程。机器学习研究杂志，6:1019-10412005·Zbl 1222.68170号 [14] 穆斯塔法·西塞（Moustapha Ciss´e）、马鲁安·谢迪瓦特（Maruan Al-Shedivat）和萨米·本吉奥（Samy Bengio）。ADIOS：输出空间深处的架构。在ICML中，第2770-2779页，2016年。34 [15] Krzysztof Dembczynski、Weiwei Cheng和Eyke H¨ullermier。基于概率分类器链的贝叶斯最优多标签分类。Johannes F¨urnkranz和Thorsten Joachims，编辑，《第27届国际机器学习会议记录》，279-286页，以色列海法，2010年。全能女。 [16] 坎·德米凯森和霍奇尼·切里菲。用多类支持向量机对图像分类的分割和合并策略进行评估。在2008年第23届计算机和信息科学国际研讨会上，第1-6页。 [17] S´ebastien Destercke和Gen Yang。通过二元分解进行谨慎的有序分类。在ECML/PKDD中，第323-337页，2014年。 [18] Thomas G.Dietterich和Ghulum Bakiri。通过纠错输出代码解决多类学习问题。《人工智能研究杂志》，2:263-2861995年·Zbl 0900.68358号 [19] 范荣恩、张开伟、谢卓瑞、王向瑞和林志仁。LIBLINEAR：大型线性分类库。机器学习研究杂志，9:1871-18742008·Zbl 1225.68175号 [20] 泽维尔·格洛特、安托万·博德斯和约舒亚·本吉奥。深度稀疏整流器神经网络。AISTATS，第315-323页，2011年。 [21] 陈功、陶大成、刘伟、刘刘和杨杰。通过“教-学”和“学-教”进行标签传播。IEEE传输。神经网络。学习系统。，28(6):1452– 1465, 2017. [22] 马蒂厄·吉利亚明（Matthieu Guillaumin）、雅各布·J·韦贝克（Jakob J.Verbeek）和科迪利亚·施密德（Cordelia Schmid）。用于图像分类的多模态半监督学习。IEEE计算机学会计算机视觉和模式识别会议，第902-909页。IEEE计算机学会，2010年。 [23] 郭玉红（Yuhong Guo）和顾随成（Suicheng Gu）。使用条件依赖网络的多标签分类。托比·沃尔什（Toby Walsh）主编，《第二十届国际人工智能联合会议论文集》，第1300-1305页，西班牙加泰罗尼亚巴塞罗那，2011年。AAAI出版社。 [24] 郭玉红和戴尔·舒尔曼斯。多标签分类的自适应大幅度训练。2011年第二十五届AAAI人工智能会议论文集。 [25] 何开明、张湘玉、任少清、孙建军。用于图像识别的深度残差学习。CVPR，第770-778页，2016年。 [26] 何旭明、理查德·泽梅尔和米格尔·A。Carreira-Perpián´an公司。用于图像标记的多尺度条件随机域。CVPR，第695-702页，2004年。 [27] 杰弗里·欣顿（Geoffrey E.Hinton）、奥利奥·维尼尔（Oriol Vinyals）和杰弗里·迪恩（Jeffrey Dean）。在神经网络中提取知识。CoRR，abs/1503.025312015。 [28] 谢卓绝、蒋凯扬和英迪尔吉特·S·迪伦。签名网络的低秩建模。在KDD中，第507-5152012页。35 ·Zbl 1476.68226号 [29] 徐志伟和林志仁。多类支持向量机方法的比较。IEEE神经网络和学习系统汇刊，13（2）：415-4252002·兹比尔0998.68108 [30] Daniel Hsu、Sham Kakade、John Langford和Tong Zhang。通过压缩感知进行多标签预测。《神经信息处理系统进展》，第772-780页，2009年。 [31] 黄胜军和周志华。通过局部利用标签相关性进行多标签学习。J¨org Hoffmann和Bart Selman，编辑，《第二十六届AAAI人工智能会议论文集》，加拿大安大略省多伦多，2012年。AAAI出版社。 [32] 霍丽娜、焦立成、王爽和杨树远。具有颜色属性的对象级显著性检测。模式识别，49:162-1732016。 [33] Prateek Jain和Inderjit S.Dhillon。可证明的归纳矩阵完成。CoRR，abs/1306.06262013年。 [34] 冯康、荣进和拉胡尔·苏克坦卡。将标签传播与多标签学习应用相关联。2006年IEEE计算机学会计算机视觉和模式识别会议，第1719-1726页，美国纽约州，2006年。IEEE计算机学会。 [35] 迈克尔·卡恩斯（Michael J.Kearns）和罗伯特·夏皮尔（Robert E.Schapire）。概率概念的高效无分布学习。《第31届计算机科学基础研讨会论文集》，第382-391页，加利福尼亚州洛斯阿拉米托斯，1990年。IEEE计算机学会出版社·Zbl 0822.68093号 [36] 马克西姆·拉宾（Maksim Lapin）、马蒂亚斯·海因（Matthias Hein）和伯恩特·席勒（Bernt Schiele）。Top-k多类SVM。《神经信息处理系统进展》28，第325-333页，2015年·Zbl 1308.68098号 [37] 马克西姆·拉宾（Maksim Lapin）、马蒂亚斯·海因（Matthias Hein）和伯恩特·席勒（Bernt Schiele）。top-k错误的损失函数：分析和见解。2016年IEEE计算机视觉和模式识别会议·Zbl 1308.68098号 [38] Jure Leskovec、Daniel P.Huttenlocher和Jon M.Kleinberg。预测在线社交网络中的积极和消极联系。在WWW中，第641-650页，2010年。 [39] 刘伟伟和Ivor W.Tsang。多标签预测的大幅度度量学习。在AAAI中，第2800-2806页，2015a。 [40] 刘伟伟和Ivor W.Tsang。多标签分类中分类器链的优化。在NIPS中，第712-720页，2015b。 [41] 刘伟伟和Ivor W.Tsang。数百万维稀疏感知器决策树。AAAI，第1881-1887页，2016年。 [42] 刘伟伟和Ivor W.Tsang。使决策树在超高特征和标签维上可行。《机器学习研究杂志》，2017年18:1-36·Zbl 1434.68425号 [43] 刘伟伟、沈晓波和Ivor W.Tsang。稀疏嵌入k-means聚类。NIPS，2017年。36 [44] 齐茂、Ivor Wai-Hung Tsang和Shenghua Gao。客观引导的图像注释。IEEE图像处理汇刊，22（4）：1585-15972013·兹比尔1373.94277 [45] 保罗·马萨和保罗·阿维萨尼。推荐系统的信任软件引导。《2006年ECAI推荐系统研讨会论文集》，第29-33页，2006年。 [46] 乔纳森·米尔格拉姆（Jonathan Milgram）、穆罕默德·切丽特（Mohamed Cheriet）和罗伯特·萨布林（Robert Sabourin）。“一对一”或“一对所有”：哪一个更适合SVM的手写识别？2006年第十届笔迹识别前沿国际研讨会。 [47] 牛刚（Gang Niu）、马丁·克里斯托弗·杜普莱西斯（Marthinus Christoffel du Plessis）、酒井俊彦（Tomoya Sakai）、姚马（Yao Ma）和杉山正树（Masashi Sugiyama）。正标记学习与正标记学习的理论比较。在NIPS中，第1199-1207页，2016年。 [48] 费比安·佩德雷戈萨（Fabian Pedregosa）、加埃尔·瓦罗佐（Ga¨el Varoqueux）、亚历山大·格兰福特（Alexandre Gramfort）、文森特·米歇尔（Vincent Michel）、伯特兰·蒂里昂（Bertrand Thirion）、奥利维尔·格里塞尔（Olivier Grisel）、马修·布隆德尔（Mathieu Blondel）、彼得·普雷滕霍弗（Peter Prettenhofer）、罗恩·韦斯（Ron Weiss）、。Scikit学习：Python中的机器学习。机器学习研究杂志，12:2825-28302011·Zbl 1280.68189号 [49] Trung T.Pham、Ian Reid、Yasir Latif和Stephen Gould。分层高阶回归森林场：3D室内场景标记的应用。ICCV，2015年。 [50] 杰西·里德（Jesse Read）、伯恩哈德·普法林格（Bernhard Pfahringer）、杰夫·霍姆斯（Geoff Holmes）和艾比·弗兰克（Eibe Frank）。多标签分类的分类器链。Wray L.Buntine、Marko Grobelnik、Dunja Mladenic和John Shawe-Tylor，编辑，《欧洲数据库机器学习和知识发现会议记录：第二部分》，第254-269页，柏林，海德堡，2009年。斯普林格·弗拉格。 [51] 瑞安·里夫金（Ryan M.Rifkin）和阿尔德巴罗·克劳托（Aldebaro Klautau）。为一对一分类辩护。机器学习研究杂志，5:101-1412004·Zbl 1222.68287号 [52] 罗伯特·夏皮雷和约拉姆·辛格。Boostexter：一个基于boosting的文本分类系统。机器学习，39（2-3）：135-1682000·兹比尔0951.68561 [53] Christian Sch¨uldt、Ivan Laptev和Barbara Caputo。识别人类行为：一种局部svm方法。在第17届国际模式识别会议上，第32-36页。IEEE计算机学会，2004年。 [54] Chun-Wei Seah、Ivor W.Tsang和Yew-Soon Ong。传递序数回归。TNNLS，23（7）：1074-10862012年。 [55] Amnon Shashua和Anat Levin。大幅度排名原则：两种方法。在NIPS中，第937-944页，2002年。 [56] 约翰·肖·泰勒（John Shawe-Taylor）、彼得·巴特利特（Peter L.Bartlett）、罗伯特·威廉姆森（Robert C.Williamson）和马丁·安东尼（Martin Anthony）。基于数据依赖层次结构的结构风险最小化。IEEE信息理论汇刊，44（5）：1926-19401998。37个·Zbl 0935.68090号 [57] 内森·西尔伯曼（Nathan Silberman）、德里克·霍伊姆（Derek Hoiem）、普希米特·科利（Pushmet Kohli）和罗伯·弗格斯（Rob Fergus）。室内分割和支持RGBD图像的推断。第12届欧洲计算机视觉会议，第746-760页。施普林格，2012年。 [58] 凯伦·西蒙扬和安德鲁·齐瑟曼。用于大规模图像识别的深度卷积网络。CoRR，abs/1409.15562014年。 [59] Farbound Tai和Hsuan-Tien Lin.基于主标记空间变换的多标记分类。神经计算，24（9）：2508-25422012·Zbl 1269.68084号 [60] Ali Fallah Tehrani、Weiwei Cheng和Eyke H¨ullemermier。使用choquet积分的偏好学习：多部分排名的情况。IEEE传输。模糊系统，20（6）：1102-11132012。 [61] 安东尼奥·托拉尔巴（Antonio Torralba）、凯文·墨菲（Kevin P.Murphy）和威廉·弗里曼（William T.Freeman）。使用增强随机场进行目标检测的上下文模型。《神经信息处理系统进展》，第1401-1408页，2004年。 [62] Grigorios Tsoumakas、Ioannis Katakis和Ioannies Vlahavas。挖掘多标签数据。在《数据挖掘和知识发现手册》中，第667-685页。美国施普林格出版社，2010年。 [63] 杰森·韦斯顿和克里斯·沃特金斯。支持向量机进行多类模式识别。第七届欧洲人工神经网络研讨会，第219-224页，1999年。 [64] 杨建波和曾荫权。用于多类分类的分层最大余量学习。UAI，第753-760页，2011年。 [65] 张敏玲和张坤。利用标签依赖进行多标签学习。《第16届ACM SIGKDD知识发现和数据挖掘国际会议论文集》编辑巴拉特·拉奥、巴拉吉·克里希纳普拉姆、安德鲁·汤金斯和杨强，第999-1008页，美国华盛顿特区，2010年。ACM公司。 [66] 张敏玲和周志华。多标签学习算法综述。IEEE知识与数据工程汇刊，26（8）：1819-18372014。 [67] 张毅和杰夫·施耐德。最大余量输出编码。约翰·朗福德（John Langford）和乔尔·皮诺（Joelle Pineau），编辑，《第29届机器学习国际会议论文集》，第1575-1582页，美国纽约州纽约市，2012年。全能女。 [68] Yi Zhang和Jeff G.Schneider。使用典型相关分析的多标签输出代码。杰弗里·戈登（Geoffrey J.Gordon）、戴维·邓森（David B.Dunson）和米罗斯拉夫·杜德（Miroslav Dud´221 k），编辑，《第十四届国际人工智能与统计会议论文集》，第873-882页，美国劳德代尔堡，2011年。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。