德克·施费尔；埃克·Hüllermier 使用基于联合特征表示的Plackett-Luce模型对Dyad进行排名。 （英语） Zbl 1464.62232号 机器。学习。 107，第5期，903-941（2018）. 摘要：标签排名是一种特定类型的偏好学习问题，即学习一个模型的问题，该模型将实例映射到有限的预定义选项集上的排名。与传统分类一样，这些备选方案通过其名称或标签而不是以任何可能对学习有用的属性或特征来描述。在本文中，我们考虑一个我们称之为标签排序问题的推广二元排序在二元排序中，不仅实例，而且备选方案都用属性表示。为了在二元排名的设置中学习，我们提出了基于Plackett-Luce模型（排名数据的统计模型）的现有标签排名方法的扩展。该模型与适当的二元结构特征表示相结合。具体地说，我们提出了一种基于双线性扩展的方法，其中表示是以Kronecker积给出的，以及一种方法基于神经网络，允许学习（高度非线性）联合特征表示。几个实验研究表明，替代品特征描述提供的附加信息很有用。最后，我们提出了一种基于多维展开技术的二元排名可视化方法。 引用于三文件 MSC公司： 62F07型 统计排名和选择程序 62M45型 神经网络及从随机过程推断的相关方法 68T05型 人工智能中的学习和自适应系统 关键词：偏好学习；标签排名；二元排序；Plackett-Luce模型；神经网络；多维展开 软件：ImageNet公司；小咖啡；L-BFGS公司；TensorFlow公司；UCI-毫升；卡费；AlexNet公司；RLScore（RLScore）；加州理工大学-256 PDF格式BibTeX公司 XML格式引用 \textit{D.Schäfer}和\textit{E.Hüllermier}，马赫。学习。107，第5号，903--941（2018；Zbl 1464.62232） 全文： 内政部 参考文献： [1] Abadi，M.、Agarwal，A.、Barham，P.、Brevdo，E.、Chen，Z.、Citro，C.等人（2016）。TensorFlow：异构系统上的大规模机器学习。CoRR公司.arXiv:1603.04467。 [2] Alvo，M.和Yu，P.L.（2014年）。排名数据的统计方法纽约：Springer·Zbl 1341.62001号 ·doi:10.1007/978-1-4939-1471-5 [3] Bakir，G.、Hofmann，T.、Schölkopf，B.、Smola，A.J.、Taskar，B.和Vishwanathan，S.V.N.（编辑）。(2007).预测结构化数据剑桥：麻省理工学院出版社。 [4] Basilico，J.和Hofmann，T.（2004）。统一协作过滤和基于内容的过滤ICML会议记录，第21届机器学习国际会议美国纽约ACM。 [5] Bellet，A.、Habrard，A.和Sebban，M.（2013年）。特征向量和结构化数据的度量学习调查（第57页）。arXiv:1306.6709·Zbl 1404.68115号 [6] Borg，I.（1981年）。Anwendungsorientierte多维Skalierung纽约：Springer。 ·doi:10.1007/978-3-642-95401-6 [7] Borg，I.和Groenen，P.（2005年）。现代多维尺度：理论与应用纽约：Springer·Zbl 1085.62079号 [8] Borg，I.、Groenen，P.J.和Mair，P.（2012）。应用多维缩放纽约：Springer。 [9] Bottou，L.（2010）。具有随机梯度下降的大规模机器学习。在2010年COMPSTAT第19届国际计算统计会议记录（第177-187页）。施普林格，巴黎，法国·Zbl 0087.34001号 [10] Bottou，L.（1998）。在线算法和随机近似。在线学习和神经网络剑桥：剑桥大学出版社·Zbl 0968.68127号 [11] Boyd，S.和Vandenberghe，L.（2004）。凸优化读，MA：剑桥大学出版社·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441 [12] Braddil，P.、Giraud-Carrier，C.、Soares，C.和Villata，R.（2008）。元学习：在数据挖掘中的应用（第1版）。纽约：斯普林格·Zbl 1173.68625号 [13] Brinker，K.、Fürnkranz，J.和Hüllermier，E.（2006）。多标签分类和排序的统一模型。在ECAI2006年会议记录：第17届欧洲人工智能会议（第489-493页），意大利里瓦·德尔加达。 [14] Burges，C.、Shaked，T.、Renshaw，E.、Lazier，A.、Deeds，M.、Hamilton，N.等人（2005年）。学习使用梯度下降排序。在ICML第22届机器学习国际会议论文集（第89-96页）。美国纽约ACM。 [15] Busing，F.（2010年）。多维展开的进展。莱顿大学博士论文。 [16] 曹，Z.，秦，T.，刘，T.Y.，蔡，M.F.，&李，H.（2007）。学习排名：从成对方法到列表方法。在ICML会议记录，第24届机器学习国际会议（第129-136页）。美国纽约ACM。 [17] 卡隆，F；Doucet，A，广义Bradley-Terry模型的有效贝叶斯推断，计算与图形统计杂志，21174-196，（2012）·doi:10.1080/10618600.2012.638220 [18] JD卡罗尔；Chang，JJ，通过“eckart-young”分解的N向泛化分析多维标度中的个体差异，《心理测量学》，35，283-319，（1970）·Zbl 0202.19101号 ·doi:10.1007/BF02310791 [19] Chechik，G；夏尔马，V；沙利特，U；Bengio，S，大型图像相似性学习的在线算法，神经信息处理系统进展，21，1-9，（2009）·Zbl 1242.68212号 [20] Chechik，G；夏尔马，V；沙利特，U；Bengio，S，通过排名大规模在线学习图像相似性，机器学习研究杂志，11，1-29，（2010）·Zbl 1242.68212号 [21] Cheng，W.和Hüllermier，E.（2008）。从定性反馈中学习相似函数。在ECCBR-2008第九届欧洲基于案例推理会议记录（第120-134页）。德国特里尔施普林格，LNAI排名第5239位。 [22] Cheng，W.、Henzgen，S.和Hüllermier，E.（2013）。标签排序中的标签分解与成对分解。在Lernen Wissen Adaptivität 2013会议记录（LWA 2013）（第140-147页）。德国班贝格奥托·弗里德里希大学。 [23] Cheng，W.、Hühn，J.和Hüllermier，E.（2009）。用于标签排名的决策树和基于实例的学习。在ICML会议记录，第26届机器学习国际会议（第161-168页）。加拿大蒙特利尔Omnipress。 [24] Cheng，W.、Hüllermier，E.、Waegeman，W.和Welker，V.（2012）。基于阈值概率模型的部分弃权标签排序。在NIPS-2012第26届神经信息处理系统年会论文集美国内华达州塔霍湖·Zbl 0123.36803号 [25] Cheng，W.、Rademaker，M.、De Beats，B.和Hüllermier，E.（2010b）。预测部分顺序：以弃权排名。在ECML/PKDD-2010欧洲机器学习和数据库知识发现原理与实践会议论文集西班牙巴塞罗那。 [26] 郑，W；登布奇恩斯基，K；Hüllermier，E；Fürnkranz，J（编辑）；Joachims，T（编辑），基于门襟模型的标签排名方法，215-222，（2010），海法 [27] 科恩，W；夏皮雷，R；辛格，Y，《学会订购东西》，《人工智能研究杂志》，10243-270，（1999）·Zbl 0915.68031号 [28] 库姆斯，CH，《无测量单位的心理量表》，《心理评论》，第57期，第145-158页，（1950年）·doi:10.1037/h0060984 [29] David，H.A.（1969年）。成对比较法伦敦：格里芬。 [30] Leeuw，J；Mair，P，使用优化的多维标度：R中的SMACOF，统计软件杂志，31，1-30，（2009） [31] De Leeuw，J.（1977年）。凸分析在多维标度中的应用。在J.R.Barra、F.Brodeau、G.Romier和B.Van Cutsem（编辑）中，统计方面的最新发展（第133-146页）。北荷兰。 [32] De Leeuw，J.和Heiser，W.J.（1977年）。多维缩放校正矩阵算法的收敛性。在J.C.Lingoes（编辑）中，关系数据的几何表示（第735-752页）。密歇根州安阿伯：数学出版社。 [33] 德克尔，O；歌手，Y；曼宁，CD；Thrun，S（编辑）；Saul，LK（编辑）；Schölkopf，B（ed.），标签排名的对数线性模型，第16期，497-504，（2004），剑桥 [34] 美联社登普斯特；新墨西哥州莱尔德；Rubin，DB，《通过EM算法从不完整数据中获取最大似然》，《皇家统计学会期刊B辑（方法学）》，39，1-38，（1977）·Zbl 0364.62022号 [35] Fürnkranz，J；Hüllermier，E；Fürnkranz，J（编辑）；Hüllermier，E（编辑），《偏好学习：导论》，1-17，（2010），纽约·Zbl 1214.68285号 [36] Fürnkranz，J；Hüllermier，E；Mencía，E；Brinker，K，通过校准标签排名进行多标签分类，机器学习，73，133-153，（2008）·Zbl 1470.68108号 ·doi:10.1007/s10994-008-5064-8 [37] 格里芬，G；Holub，A；Perona，P，加州理工学院-256对象类别数据集，加州理工学院Mimeo，11，20，（2007） [38] 格罗恩，PJ；Heiser，WJ，《多维尺度下全局优化的隧道方法》，《心理测量学》，61529-550，（1996）·Zbl 0866.92028号 ·doi:10.1007/BF02294553 [39] Groenen，P；Velden，M，《优化多维标度：综述》，《统计软件杂志》，73，1-26，（2016） [40] Guiver，J.和Snelson，E.（2009年）。门襟排名模型的贝叶斯推断。在ICML会议记录，第26届机器学习国际会议（第377-384页）。ACM，ICML'09年。 [41] Har-Peled，S.、Roth，D.和Zimak，D.（2002a）。约束分类：一种新的多类分类方法。在ALT会议录，第13届算法学习理论国际会议（第365-379页）。斯普林格·Zbl 1024.68081号 [42] Har-Peled，S；罗斯，D；齐马克，D；Becker，S（编辑）；Thrun，S（编辑）；Obermayer，K（编辑），《多类别分类和排名的约束分类》，第15期，809-816，（2002年），剑桥 [43] Hüllermier，E；Fürnkranz，J；郑，W；Brinker，K，通过学习两两偏好进行标签排名，人工智能，1721897-1916，（2008）·Zbl 1184.68403号 ·doi:10.1016/j.artint.2008.08.002 [44] Hüllermier，E；Vanderlooy，S，《为什么模糊决策树是好的等级》，IEEE模糊系统事务，171233-1244，（2009）·doi:10.1109/TFUZZ.2009.2026640 [45] Hunter，DR，广义布莱德雷-特里模型的MM算法，《统计年鉴》，32，384-406，（2004）·Zbl 1105.62359号 ·doi:10.1214/aos/1079120141 [46] Huybrechts，G.（2016）。学习与深层神经网络进行排名。硕士论文，Louvain理工学院（EPL）·Zbl 1214.68285号 [47] Jia，Y.、Shelhamer，E.、Donahue，J.、Karayev，S.、Long，J.和Girshick，R.等人（2014）。Caffe：快速特征嵌入的卷积架构。arXiv：1408.5093·Zbl 0364.62022号 [48] Kamishima，T.、Kazawa，H.和Akaho，S.（2011年）。对象排序方法的调查和实证比较。在偏好学习（第181-201页）。斯普林格·Zbl 1213.68495号 [49] Kanda，J.、Soares，C.、Hruschka，E.R.和de Carvalho，A.C.P.L.F.（2012）。一种元学习方法，使用基于MLP的标签排名为旅行推销员问题选择元神经。在ICONIP会议记录，第19届神经信息处理国际会议（第488-495页）。卡塔尔多哈斯普林格。 [50] Kendall，MG，等级相关性的一种新测量方法，生物统计学，3081-93，（1938）·Zbl 0019.13001号 ·doi:10.2307/2332226 [51] Kidwell，P；黎巴嫩，G；克利夫兰，W，《可视化不完整和部分排名数据》，IEEE可视化和计算机图形汇刊，第14期，1356-1363页，（2008年）·doi:10.1109/TVCG.2008.181 [52] Krantz，DH，多维标度的有理距离函数，《数学心理学杂志》，4226-245，（1967）·兹比尔0161.40001 ·doi:10.1016/0022-2496（67）90051-X [53] 克里舍夫斯基，A；Sutskever，I；通用电气公司Hinton；佩雷拉，F（编辑）；Burges，CJC（编辑）；Bottou，L（编辑）；Weinberger，KQ（编辑），深度卷积神经网络的Imagenet分类，第25期，1097-1105，（2012），Red Hook [54] Kruskal，JB，通过优化非度量假设的拟合优度实现多维尺度，《心理测量学》，29，1-27，（1964）·Zbl 0123.36803号 ·doi:10.1007/BF02289565 [55] Lange，K.（2016）。MM优化算法费城：工业和应用数学学会（SIAM）·Zbl 1357.90002号 ·doi:10.1137/1.9781611974409 [56] 兰格，K；亨特，D；Yang，I，使用替代目标函数的优化转移，计算与图形统计杂志，9，1-20，（2000） [57] Larochelle，H.、Erhan，D.和Bengio，Y.（2008年）。新任务的零数据学习。在2008年AAAI第23届全国人工智能会议记录（第646-651页）。 [58] 拉腊尼亚加，P；Kuijpers，CMH；Murga，右侧；Inza，I；Dizdarevic，S，《旅行推销员问题的遗传算法：表征和算子综述》，《人工智能评论》，第13期，第129-170页，（1999）·doi:10.1023/A:1006529012972 [59] Lichman，M.（2013）。UCI机器学习库。加州大学欧文分校信息与计算机科学学院。http://archive.ics.uci.edu/ml。 [60] Liu，T.（2011）。学习为信息检索排序纽约：Springer·Zbl 1227.68002号 ·doi:10.1007/978-3-642-14267-3 [61] 刘，DC；Nocedal，J，关于大规模优化的有限内存BFGS方法，数学规划，45，503-528，（1989）·Zbl 0696.90048号 ·doi:10.1007/BF01589116 [62] 卢斯·R·D（1959）。个体选择行为的理论分析纽约：Wiley·Zbl 0093.31708号 [63] 卢斯，RD，《相似判断的选择理论分析》，《心理测量学》，第26期，第151-163页，（1961年）·Zbl 0099.36003号 ·doi:10.1007/BF02289711 [64] Luenberger，D.G.（1973）。线性和非线性规划导论雷丁，马萨诸塞州：艾迪森·韦斯利·Zbl 0297.90044号 [65] Luo，T.、Wang，D.、Liu，R.和Pan，Y.（2015）。随机top-k列表网。在2015年自然语言处理实证方法会议记录（第676-684页）。葡萄牙里斯本计算语言学协会·Zbl 1214.68301号 [66] Mallows，CL，非完全排名模型，Biometrika，44，114-130，（1957）·Zbl 0087.34001号 ·doi:10.2307/2333244 [67] Marden，J.I.（1995）。分析和建模等级数据伦敦：查普曼和霍尔·Zbl 0853.62006号 [68] 市长，L；Grossglauser，M；Cortes，C（编辑）；劳伦斯，ND（编辑）；Lee，DD（编辑）；Sugiyama，M（编辑）；加内特，R（编辑），《门襟模型的快速准确推断》，第28期，第172-180页，（2015年），红钩出版社 [69] JE门克；Martinez，TR，用于团体比赛个人评分的Bradley-Terry人工神经网络模型，神经计算与应用，17，175-186，（2008）·doi:10.1007/s00521-006-0080-8 [70] Menon，A.K.和Elkan，C.（2010a）。使用潜在特征对数线性模型的二进预测。arXiv:1006.2156。 [71] Menon，A.K.和Elkan，C.（2010年b）。具有潜在特征的二进预测对数线性模型。在2010年IEEE数据挖掘国际会议记录（第364-373页）。IEEE计算机学会，ICDM’10。 [72] 阿拉斯加州梅农；Elkan，C，二元数据的预测标签，数据挖掘和知识发现，21，327-343，（2010）·doi:10.1007/s10618-010-0189-3 [73] Meulman，J.J.、Van der Kooj，A.J.和Heiser，W.J.（2004）。有序数据和标称数据的非线性最优尺度变换主成分分析。社会科学定量方法学圣人手册（第49-72页）。伦敦：圣人。 [74] Mitchell，M.（1998）。遗传算法简介马萨诸塞州剑桥：麻省理工学院出版社·Zbl 0906.68113号 [75] Murata，N.、Kitazono，J.和Ozawa，S.（2017年）。基于随机邻域关系的多维展开。在第九届机器学习与计算国际会议论文集（第248-252页）。 [76] Pahikkala，T.、Stock，M.、Airola，A.、Aittokalio，T.，De Baets，B.和Waegeman，W.（2014）。解决二进预测中完全和几乎完全冷启动问题的两步学习方法。在T.Calders、F.Esposito、E.Hüllermier和R.Meo（编辑）中，计算机科学课堂讲稿（第8725卷，第517-532页）。斯普林格。 [77] Pahikkala，T.、Waegeman，W.、Airola，A.、Salakoski，T.和De Baets，B.（2010年）。关系数据的条件排名。在ECML/PKDD欧洲机器学习和数据库知识发现会议记录（第499-514页）。斯普林格。 [78] Pahikkala，T；Airola，A，Rlscore:正规最小二乘学习者，《机器学习研究杂志》，17，1-5，（2016）·Zbl 1404.68115号 [79] Pahikkala，T；艾罗拉，A；库存，M；贝茨，B；Waegeman，W，关系数据条件排序的高效正则化最小二乘算法，机器学习，93，321-356，（2013）·Zbl 1300.68045号 ·doi:10.1007/s10994-013-5354-7 [80] Plackett，RL，《排列分析》，《皇家统计学会杂志》。C辑（应用统计学），24193-202，（1975） [81] Prechelt，L.（2012）。提前停车：但什么时候？在G.Montavon、G.B.Orr和K.-R.Müller（编辑）中，神经网络：交易技巧（第53-67页）。斯普林格·Zbl 1300.68045号 [82] Ribeiro，G.、Duivesteijn，W.、Soares，C.和Knobbe，A.J.（2012年）。标签排名的多层感知器。在ICANN会议记录，第22届国际人工神经网络会议（第25-32页）。瑞士洛桑施普林格。 [83] 里古蒂尼，L；帕皮尼，T；Maggini，M；Scarselli，F，Sortnet：通过神经偏好函数学习排名，IEEE神经网络汇刊，221368-1380，（2011）·doi:10.1109/TNN.2011.2160875 [84] Rumelhart，DE；通用电气公司Hinton；威廉姆斯，RJ，通过反向传播错误学习表征，《自然》，323，9，（1986）·Zbl 1369.68284号 ·doi:10.1038/323533a0 [85] Schäfer，D.和Hüllermier，E.（2015）。使用双线性Plackett-Luce模型进行二元数排名。在ECML/PKDD-2015欧洲数据库机器学习和知识发现会议记录（第227-242页）。葡萄牙波尔图斯普林格。 [86] Schäfer，D.和Hüllermeier，E.（2016）。Plackett-为二元排名提供网络。在LWDA研讨会，“Lernen，Wissen，Daten，Analysen”德国波茨坦·Zbl 1222.68321号 [87] Soufiani，H.、Parkes，D.和Xia，L.（2014）。通过等级打破计算参数排名模型。在ICML会议记录，第31届机器学习国际会议中国北京。 [88] Tesauro，G；Touretzky，D（编辑），《通过比较训练学习专家偏好的连接主义》，第1期，99-106，（1989），洛斯阿尔托斯 [89] Trohidis，K.、Tsoumakas，G.、Kalliris，G.和Vlahavas，I.（2008年）。将音乐分为情感的多标签分类。在ISMIR 2008音乐信息检索国际会议论文集（第325-330页），美国宾夕法尼亚州费城。 [90] Tsochantaridis，I；约阿希姆斯，T；霍夫曼，T；Altun，Y，结构化和相互依赖输出变量的大幅度方法，机器学习研究杂志，61453-1484，（2005）·Zbl 1222.68321号 [91] Tsoumakas，I；Katakis，I，《多标签分类：概述》，《国际数据仓库与挖掘杂志》，3，1-13，（2007）·doi:10.4018/jdwm.2007070101 [92] Tucker，L.R.（1960年）。诱导内和诱导间多维性。在H.Gulliksen&S.Messick（编辑）中，心理测量：理论与应用（第155-167页）。纽约：Wiley。 [93] Van Deun，K.、Groenen，P.和Delbeke，L.（2005）。VIPSCAL：偏好数据的组合向量理想点模型。鹿特丹伊拉斯谟大学第EI 2005-03号计量经济研究所报告。 [94] Vembu，S公司；Gärtner，T；Fürnkranz，J（编辑）；Hüllermier，E（编辑），标签排名算法：调查，45-64，（2010），纽约·兹比尔1214.68301 ·doi:10.1007/978-3-642-14125-63 [95] Weimer，M；卡拉佐格鲁，A；Le、QV；斯莫拉，AJ；Platt，J（编辑）；Koller，D（编辑）；辛格，Y（编辑）；Roweis，S（编辑），COFI RANK：协作排名的最大边际矩阵分解，第20期，1593-1600，（2007），剑桥 [96] Werbos，P.（1974年）。超越回归：行为科学中预测和分析的新工具。哈佛大学博士论文，马萨诸塞州剑桥。 [97] 张，ML；Zhou，ZH，多标签神经网络及其在功能基因组学和文本分类中的应用，IEEE知识与数据工程汇刊，181338-1351，（2006）·doi:10.1109/TKDE.2006.162 [98] 周，Y；刘，Y；杨，J；他，X；Liu，L，标签排序算法的分类，计算机杂志，9，557-565，（2014） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。