×
读，杰西;伯恩哈德·普法林格;杰弗里·霍姆斯;弗兰克，艾贝

分类器链：回顾与展望。 （英语） Zbl 1512.68287号

J.阿蒂夫。智力。研究（JAIR） 70, 683-718 (2021).
摘要：被统称为分类器链的方法家族已经成为解决多标签学习问题的一种流行方法。这种方法涉及在一个有向结构中将非现成的二进制分类器链接在一起，以便单个标签预测成为其他分类器的特征。这些方法被证明是灵活有效的，并在许多数据集和多标签评估指标中获得了最先进的经验性能。这一表现导致了对潜在机制和疗效的进一步研究，并对如何改进进行了调查。近十年来，大量研究探索了分类器链的理论基础，并对训练和推理过程进行了许多改进，因此该方法仍然是多标签学习的最佳选择之一。鉴于这种过去和现在的兴趣，涵盖了广泛的应用和研究主题，这项工作的目标是提供分类器链的综述，对文献中提供的技术和扩展的调查，以及这种方法在未来多标签分类领域的前景。我们得出了积极的结论，为研究人员和从业者提出了一些建议，并概述了未来研究的关键问题。

引用于三文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

软件：

Scikit公司;Scikit-multiflow公司;HC-搜索
PDF格式BibTeX公司 XML格式引用
\textit{J.Read}等人，J.Artif。智力。研究（JAIR）70，683--718（2021；Zbl 1512.68287）
全文： DOI程序 arXiv公司

参考文献：

[1] Borchani，H.、Varando，G.、Bielza，C.和Larraánaga，P.（2015）。关于多输出回归的调查。威利国际修订数据最小值和知识。光盘。，5(5), 216-233.
[2] Breiman，L.（1996）。装袋预测器。机器学习，24（2），123-140·Zbl 0858.68080号
[3] Burkhardt，S.和Kramer，S.（2015年）。关于多标签分类中二元相关性和分类器链之间的谱。InSAC 2015：第30届ACM应用计算研讨会，第885-892页。ACM。
[4] Cheng，W.，&H¨ullermier，E.（2009年）。结合基于实例的学习和逻辑回归进行多标签分类。机器学习，76（2-3），211-225·Zbl 1470.68091号
[5] Cisse，M.、Al Shedivat，M.和Bengio，S.（2016）。再见：输出空间深处的建筑。第33届机器学习国际会议论文集，第48卷，第2770-2779页，美国纽约州纽约市。
[6] da Silva，P.N.、Gon calves，E.C.、Plastino，A.和Freitas，A.A.（2014）。不同实例的不同链：多标签分类器链的有效策略。在Calders，T.、Esposito，F.、H¨ullermier，E.和Meo，R.（编辑），《数据库中的机器学习和知识发现》，第453-468页，柏林，海德堡，斯普林格-柏林-海德堡。
[7] Daumée，III，H.、Langford，J.和Marcu，D.（2009年）。基于搜索的结构化预测。机器学习，75（3），297-325·Zbl 1470.68094号
[8] Dembczy´nski，K.、Cheng，W.和H¨ullemermier，E.（2010年）。基于概率分类器链的贝叶斯最优多标签分类。InICML’10:第27届国际机器学习会议，279-286页，以色列海法。Omnipress。
[9] Dembczy´nski，K.、Kotlowski，W.、Waegeman，W.，Busa-Fekete，R.和H¨ullemermier，E.（2016）。概率分类器树的一致性。InECML-PKDD 2016：数据库中的机器学习和知识发现，第9852卷，第511-526页。斯普林格。
[10] Dembczy´nski，K.、Waegeman，W.、Cheng，W.和H¨ullemermier，E.（2012a）。多标签分类中的标签依赖和损失最小化。机器学习，88（1-2），5-45·Zbl 1243.68237号
[11] Dembczy´nski，K.、Waegeman，W.和H¨ullemermier，E.（2012b）。多标签分类中的链接分析。InECAI:欧洲人工智能会议，第242卷，第294-299页。IOS出版社·兹比尔1327.68189
[12] Dietterich，T.G.（2002）。序列数据的机器学习：综述。《IAPR结构、句法和统计模式识别联合国际研讨会论文集》，第15-30页，英国伦敦，施普林格-弗拉格·Zbl 1073.68712号
[13] Doppa，J.R.、Fern，A.和Tadepalli，P.（2014a）。HC-search：基于搜索的结构化预测的学习框架。《人工智能研究杂志》，50369-407·Zbl 1367.68263号
[14] Doppa，J.R.、Yu，J.、Ma，C.、Fern，A.和Tadepalli，P.（2014b）。多标记预测的HC研究：一项实证研究。在Brodley，C.E.和Stone，P.（编辑），2014年7月27日至31日，加拿大魁北克省魁北克市，AAAI人工智能会议，第1795-1801页。AAAI出版社。
[15] Enrique Sucar，L.、Bielza，C.、Morales，E.F.、Hernandez-Leal，P.、Zaragoza，J.H.和Larraánaga，P.（2014）。基于贝叶斯网络的链分类器的多标签分类。模式识别字母，41（C），14-22。
[16] Frank，E.和Kramer，S.（2004）。多类问题的嵌套二分法集合。《第二十届第一届国际机器学习会议论文集》，ICML 04，第39页，美国纽约州纽约市。
[17] Gasse，M.（2017）。概率图形模型结构学习：在多标签分类中的应用。里昂大学论文。
[18] Goncalves，E.C.、Plastino，A.和Freitas，A.A.（2013年）。一种用于优化多标签分类器链中标签顺序的遗传算法。2013年IEEE第25届人工智能工具国际会议，第469-476页。
[19] Goodfellow，I.、Bengio，Y.和Courville，A.（2016）。深度学习。麻省理工学院出版社·Zbl 1373.68009号
[20] Guo，Y.，&Gu，S.（2011）。使用条件依赖网络的多标签分类。InIJCAI’11:第24届国际人工智能会议，第1300-1305页。IJCAI/AAAI。
[21] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2016）。用于图像识别的深度残差学习。2016年IEEE计算机视觉和模式识别会议（CVPR），770-778。
[22] Jun，X.、Lu，Y.、Lei，Z.和Guolun，D.（2019）。用于多标签分类的基于条件熵的分类器链。神经计算，335185-194。
[23] Kajdanowicz，T.和Kazienko，P.（2009年）。债务组合的混合还款预测。在Nguyen，N.T.、Kowalczyk，R.和Chen，S.M.（编辑），《计算集体智能》。语义网，社会网络和多智能体系统，第850-857页，柏林，海德堡，施普林格-柏林-海德堡。
[24] Kajdanowicz，T.和Kazienko，P.（2013）。启发式分类器链用于多标签分类。在Larsen，H.L.、Martin-Bautista，M.J.、Vila，M.A.、Andreasen，T.和Christiansen，H（编辑），《灵活查询回答系统》，第555-566页，柏林，海德堡，斯普林格-柏林-海德堡。
[25] Kiritchenko，S.、Matwin，S.，Nock，R.和Famili，F.（2006年）。在存在类层次结构的情况下进行学习和评估：在文本分类中的应用。InProc.公司。第19届加拿大人工智能会议，第395-406页。
[26] Kocev，D.、Vens，C.、Struyf，J.和D’zeroski，S.（2007年）。多目标决策树的集合。InProc.公司。第18届欧洲机器学习会议，ECML’07，第624-631页，柏林，海德堡，斯普林格-Verlag。
[27] Kumar，A.、Vembu，S.、Menon，A.和Elkan，C.（2013年）。多标签学习的波束搜索算法。机器学习，92（1），65-89·Zbl 1273.68301号
[28] Leathart，T.、Frank，E.、Pfahringer，B.和Holmes，G.（2019年）。关于嵌套二分法的校准。知识发现和数据挖掘的进展——第23届亚太地区会议，2019年4月14日至17日，中国澳门，PAKDD 2019，会议记录，第一部分，第69-80页。
[29] Li，C.-L.，&Lin，H.-T.（2014）。用于成本敏感型多标签分类的压缩过滤树。Xing，E.P.，&Jebara，T.（编辑），《第31届国际机器学习会议论文集》，《机器学习研究进展》第32卷，第423-431页，中国北京。PMLR公司。
[30] Lin，W.，&Xu，D.（2016）。用于识别抗菌肽及其功能类型的不平衡多标签学习。生物信息学，32 24，3745-3752。
[31] Liu，B.和Tsoumakas，G.（2018年）。使分类器链对类不平衡具有弹性。Zhu，J.，&Takeuchi，I.（编辑），《第十届亚洲机器学习会议论文集》，《机器学习研究进展》第95卷，第280-295页。PMLR公司。
[32] Liu，J.，Chang，W.C.，Wu，Y.，&Yang，Y.（2017）。深度学习极端多标签文本分类。第40届国际ACM SIGIR信息检索研究与开发会议论文集，SIGIR’17，第115-124页，美国纽约州纽约市。
[33] Loza Menc´a，E.，&Janssen，F.（2016）。多标签分类的学习规则：堆叠和分离与查询方法。机器学习，105（1），77-126。
[34] Madjarov，G.、Kocev，D.、Gjorgjevikj，D.和D’zeroski，S.（2012）。多标签学习方法的广泛实验比较。模式识别，45（9），3084-3104。
[35] Mena，D.、Montaánées，E.、Quevedo，J.R.和Coz，J.J.（2016）。概率分类器链中用于多标签分类的推理方法概述。威利国际修订数据最小值和知识。光盘。，6(6), 215-230.
[36] Molnar，C.（2019）。可解释机器学习。https://christophm.github.io/createable-ml-book/。
[37] Montiel，J.，Read，J.、Bifet，A.和Abdessalem，T.（2018年）。Scikit-MultiFlow:一个多输出流框架。机器学习研究杂志，19（72），1-5。
[38] Moyano，J.M.、Galindo，E.L.G.、Cios，K.J.和Ventura，S.（2018）。多标签分类器集成综述：模型、实验研究和展望。信息融合，44，33-45。
[39] Nam，J.，Kim，J..，Menc´óna，E.L.，Gurevych，I.，&F¨urnkranz，J.（2014）。大规模多标签文本分类-重访神经网络。InECML-PKDD’14：第25届欧洲数据库机器学习和知识发现会议，第437-452页。
[40] Nam，J.、Loza Menc´ón a，E.、Kim，H.J.和F¨urnkranz，J.（2017）。多标签分类中使用递归神经网络最大化子集精度。神经信息处理系统进展30，第5413-5423页。
[41] Narasiguin，A.、Elghazel，H.和Aussem，A.（2017年）。基于概率分类器链的动态集成选择。在Ceci，M.、Hollm´en，J.、Todorovski，L.、Vens，C.和D´zeroski，S.（编辑）《数据库中的机器学习和知识发现》，第169-186页，Cham。施普林格国际出版公司。
[42] Park，L.A.F.和Read，J.（2018）。用于多标签优化和评估的混合度量。InECML-PKDD 2018：第29届欧洲机器学习会议，第719-734页。
[43] 佩德雷戈萨（Pedregosa，F.）、瓦罗佐（Varoqueux，G.）、格兰福特（Gramfort，A.）、米歇尔（Michel，V.）、提里昂（Thirion，B。Scikit-learn：Python中的机器学习。机器学习研究杂志，12，2825-2830·Zbl 1280.68189号
[44] Pinto，F.、Soares，C.和Mendes-Moreira，J.（2016）。Chade：带有分类器链的元学习，用于分类器的动态组合。Frasconi，P.、Landwehr，N.、Manco，G.和Vreeken，J.（编辑），数据库中的机器学习和知识发现，第410-425页，Cham。施普林格国际出版公司。
[45] 鲍威尔·W·B（2019）。随机优化的统一框架。《欧洲运筹学杂志》，275（3），795-821·Zbl 1430.90445号
[46] Puurula，A.、Read，J.和Bifet，A.（2014）。Kaggle LSHTC4获胜解决方案。Kaggle LSHTC4 Winning Solution技术代表。报告我们在LSHTC4卡格尔竞赛中获胜的解决方案。
[47] Ramrez-Conola，M.、Sucar，L.E.和Morales，E.F.（2014）。分层多标签分类的链式路径评估。。
[48] Read，J.和Hollm´en，J.（2017）。使用标签作为隐藏节点的多标签分类。技术代表1503.09022v3，ArXiv.org.ArXiv。
[49] Read，J.和Martino，L.（2020年）。蒙特卡罗方法的概率回归链。神经计算，In Press，1-26。
[50] Read，J.、Martino，L.和Hollm´en，J.（2017）。序列数据预测的多标签方法。模式识别，63（3月），45-55。
[51] Read，J.、Martino，L.和Luengo，D.（2014）。使用分类器链进行多维学习的高效蒙特卡罗方法。模式识别，47（3），1535-1546·Zbl 1326.68251号
[52] Read，J.、Martino，L.、Olmos，P.M.和Luengo，D.（2015）。可扩展的多输出标签预测：从分类器链到分类器网格。模式识别，48（6），2096-2109·Zbl 1374.68421号
[53] Read，J.、Pfahringer，B.、Holmes，G.和Frank，E.（2009年）。多标签分类的分类器链。InECML 2009：第20届欧洲机器学习会议，第254-269页。斯普林格。
[54] Read，J.、Pfahringer，B.、Holmes，G.和Frank，E.（2011年）。多标签分类的分类器链。机器学习，85（3），333-359。
[55] Read，J.、Puurula，A.和Bifet，A.（2014）。具有元标签的多标签分类。ICDM’14：IEEE国际数据挖掘会议，第941-946页。电气与电子工程师协会。
[56] Rivolli，A.、Read，J.、Soares，C.、Pfahringer，B.和de Carvalho，A.C.P.L.F.（2020年）。多标签学习的二进制转换策略和基本算法的实证分析。机器学习，出版（1573-0565），1-55。
[57] Scanagatta，M.、Salmer´on，A.和Stella，F.（2019）。贝叶斯网络结构数据学习研究综述。《人工智能进展》，第425-439页。
[58] Senge，R.、del Coz，J.和H¨ullermier，E.（2013年）。纠正多标签分类的分类器链。InLernen，Wissen，改编（LWA）2013，第162-169页。
[59] Senge，R.、del Coz，J.J.和H¨ullemermier，E.（2014）。关于多标签分类中分类器链中的错误传播问题。Spiliopoulou，M.、Schmidt-Thieme，L.和Janning，R.（编辑），《数据分析、机器学习和知识发现》，第163-170页，Cham。施普林格国际出版公司。
[60] Szyma´nski，P.和Kajdanowicz，T.（2017年）。基于scikit的Python环境，用于执行多标签分类。ArXiv电子打印。
[61] Teisseyre，P.（2017）。CCnet：使用分类器链和弹性网正则化联合多标签分类和特征选择。神经计算，235，98-111。
[62] Tenenboim-Chekina，L.、Rokach，L.和Shapira，B.（2013）。异常检测的特征链集合。《多分类器系统》，《计算机科学讲义》第7872卷，第295-306页。施普林格-柏林-海德堡。
[63] Tsoumakas，G.、Katakis，I.和Vlahavas，I..（2011年）。用于多标签分类的随机k标签集。IEEE知识与数据工程汇刊，23（7），1079-1089。
[64] Waegeman，W.、Dembczy´nski，K.和H¨ullemermier，E.（2019年）。多目标预测：对问题和方法的统一看法。数据挖掘和知识发现，33（2），293-324·Zbl 1464.62399号
[65] Wever，M.、Tornede，A.、Mohr，F.和H¨ullermier，E.（2020年）。Libre：基于二进制相关性的基础学习者的标签式选择，用于多标签分类。Berthold，M.R.、Feelders，A.和Krempl，G.（编辑），《智能数据分析进展》第十八卷，第561-573页，Cham。施普林格国际出版公司。
[66] Wydmuch，M.、Jasinska，K.、Kuznetsov，M.，Busa-Fekete，R.和Dembczynski，K.（2018年）。分层softmax到极端多标签分类的一种无梯度泛化。Bengio，S.、Wallach，H.、Larochelle，H.，Grauman，K.、Cesa-Bianchi，N.和Garnett，R.（编辑），《神经信息处理系统进展》31，第6355-6366页。Curran Associates公司。
[67] Zaragoza，J.H.、Sucar，L.E.、Morales，E.F.、Bielza，C.和Larraánaga，P.（2011）。用于多维分类的贝叶斯链分类器。第24届国际人工智能联合会议（IJCAI’11），第2192-2197页。
[68] Zhang，M.-L.，Li，Y.-K，Liu，X.-Y和耿，X.（2018）。多标签学习的二进制相关性：概述。计算机科学前沿，12（2），191-202。
[69] Zhang，M.-L.和Zhang、K.（2010年）。利用标签依赖进行多标签学习。在KDD’10：第16届ACM SIGKDD知识发现和数据挖掘国际会议上，第999-1008页。ACM。
[70] Zhang，M.-L.和Zhou，Z.-H.（2014）。多标签学习算法综述。IEEE知识与数据工程汇刊，26（8），1819-1837
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。