×

人群的可扩展贝叶斯偏好学习。 (英语) 兹比尔1496.68280

摘要:我们提出了一种可扩展的贝叶斯偏好学习方法,用于从成对标签中联合预测个人的偏好以及群体的共识。人们的意见往往大相径庭,因此很难从少量个人数据中预测他们的偏好。当每个项目几乎没有标签时,个人偏见也使得推断人群的共识变得更加困难。我们通过将矩阵分解与高斯过程相结合来解决这些挑战,使用贝叶斯方法来考虑噪声和稀疏数据引起的不确定性。我们的方法利用输入特性,例如文本嵌入和用户元数据,预测不在训练集中的新项目和用户的偏好。由于以前基于高斯过程的解决方案无法扩展到大量用户、项目或成对标签,因此我们提出了一种限制计算和存储成本的随机变分推理方法。我们在推荐任务上的实验表明,尽管我们的推理近似具有可伸缩性,但我们的方法与以前的方法相比仍具有竞争力。我们用数千个用户和项目演示了该方法在自然语言处理任务上的可伸缩性,并展示了对该任务最新技术的改进。我们将我们的软件公开供将来使用(https://github.com/UKPAb/tacl2018-preference-convincing/tree/crowdGPPL).

MSC公司:

68T05型 人工智能中的学习和自适应系统
2015年1月62日 贝叶斯推断
91B06型 决策理论
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Abbas Nejad,E.、Sanner,S.、Bonilla,E.V.和Poupart,P.等人(2013年)。通过混合高斯过程的dirichlet过程学习基于社区的偏好。第二十三届国际人工智能联合会议(第1213-1219页)。2020年1月17日检索自https://www.ijcai.org/Processings/13/Papers/183.pdf。
[2] Adams,R.P.、Dahl,G.E.和Murray,I.(2010年)。在高斯过程概率矩阵分解中引入边信息。《第二十六届人工智能不确定性会议论文集》(第1-9页)。AUAI出版社。
[3] Ahn,S.、Koratikara,A.、Liu,N.、Rajan,S.和Welling,M.(2015)。基于随机梯度MCMC的大规模分布式贝叶斯矩阵分解。第21届ACM SIGKDD知识发现和数据挖掘国际会议论文集(第9-18页)。ACM公司。
[4] Arthur,D.和Vassilvitskii,S.(2007)。k-means++:仔细播种的优点。第十八届ACM-SIAM离散算法年会论文集(第1027-1035页)。工业和应用数学学会·Zbl 1302.68273号
[5] 巴纳尔基,M。;O.拉哈夫。;CJ Lintott;FB阿卜杜拉;沙文斯基,K。;Bamford,SP;安德烈斯库,D。;默里,P。;雷迪克,MJ;Slosar,A.,《银河动物园:通过机器学习再现星系形态》,《皇家天文学会月刊》,4061342-353(2010)
[6] Bonilla,E.、Steinberg,D.和Reid,A.(2016年)。扩展的无味厨房水槽。M.F.Balcan和K.Q.Weinberger(编辑),《第33届机器学习国际会议论文集》,PMLR,美国纽约州纽约市,《机器学习研究论文集》(第48卷,第1651-1659页)。2020年1月17日检索自http://proceedings.mlr.press/v48/bonilla16.html。
[7] Bors,AG公司;Pitas,I.,中位数径向基函数神经网络,IEEE神经网络汇刊,7,6,1351-1364(1996)
[8] 布拉德利,RA;Terry,ME,《不完全区组设计的秩分析:I.配对比较法》,Biometrika,39,3-4,324-345(1952)·Zbl 0047.12903号
[9] Chen,X.、Bennett,P.N.、Collins-Thompson,K.和Horvitz,E.(2013)。众包环境中的成对排名聚合。第六届ACM网络搜索和数据挖掘国际会议论文集(第193-202页)。ACM公司。
[10] 陈,G。;朱,F。;Heng,PA,带无记忆分布式变分推理的大尺度贝叶斯概率矩阵分解,ACM数据知识发现事务,12,3,31:1-31:24(2018)
[11] Chu,W.和Ghahramani,Z.(2005)。使用高斯过程进行偏好学习。第22届机器学习国际会议论文集(第137-144页)。ACM公司。
[12] Devlin,J.、Chang,M.W.、Lee,K.和Toutanova,K.(2019年)。BERT:深度双向变换器的预训练,用于语言理解。在明尼苏达州明尼阿波利斯计算语言学协会北美分会2019年会议记录:人类语言技术(长篇和短篇论文),计算语言学协会(第1卷,第4171-4186页)。10.18653/v1/N19-1423。
[13] 毛毡,P。;林格,E。;Seppi,K.,《基于条件众包模型和单词嵌入的语义注释聚合》,《2016年COLING会议录》,第26届计算语言学国际会议:技术论文,1787-1796(2016),日本大阪:2016年COLING组委会,日本大坂
[14] Fu,Y。;软管踏板,TM;Xiang,T。;熊,J。;龚,S。;Wang,Y。;Yao,Y.,基于众包成对标签的鲁棒主观视觉属性预测,IEEE模式分析和机器智能汇刊,38,3,563-577(2016)
[15] Fürnkranz,J.和Hüllermeier,E.(2010年)。通过两两比较进行偏好学习和排名。偏好学习(第65-82页)。斯普林格·Zbl 1214.68286号
[16] Gretton,A.、Sejdinovic,D.、Strathman,H.、Balakrishnan,S.、Pontil,M.、Fukumizu,K.和Sriperumbudur,B.K.(2012)。大规模双样本测试的最佳内核选择。《神经信息处理系统进展》(第1205-1213页)。2020年1月17日检索自https://papers.nips.cc/paper/4727-optimal-kernel-choice-for-大规模两样本测试。
[17] Guo,S.、Sanner,S.和Bonilla,E.V.(2010)。高斯过程偏好启发。《神经信息处理系统进展》(第262-270页)。2020年1月17日检索自https://papers.nips.cc/paper/4141-gaussian-process-preference-elicitation。
[18] Habernal,I.和Gurevych,I.(2016)。哪个论点更具说服力?使用双向LSTM分析和预测网络论点的说服力。计算语言学协会第54届年会会议记录(第1卷:长篇论文,第1589-1599页)。德国柏林:计算语言学协会。
[19] Han,B。;潘,Y。;Tsang,IW,《k元众包偏好的稳健Plackett-Luce模型》,机器学习,107,4,675-702(2018)·Zbl 1466.91101号
[20] Haykin,S.(2001)。卡尔曼滤波和神经网络。威利。
[21] Hensman,J.、Fusi,N.和Lawrence,N.D.(2013年)。大数据的高斯过程。《第二十九届人工智能不确定性会议论文集》(第282-290页)。AUAI出版社。
[22] Hensman,J.、Matthews,A.G.D.G.和Ghahramani,Z.(2015)。可缩放变分高斯过程分类。《第18届国际人工智能与统计会议论文集》(第351-360页)。2020年1月17日检索自http://proceedings.mlr.press/v38/hensman15。
[23] 医学博士霍夫曼;布莱,DM;王,C。;佩斯利,JW,随机变分推理,机器学习研究杂志,14,1,1303-1347(2013)·Zbl 1317.68163号
[24] Houlsby,N.、Huszar,F.、Ghahramani,Z.和Hernández-Lobato,J.M.(2012)。偏好学习的协作高斯过程。《神经信息处理系统进展》(第2096-2104页)。2020年1月17日检索自http://papers.nips.cc/paper/4700-collaborative-gussian-processs-for-preference-elearning。
[25] Joachims,T.(2002年)。使用点击数据优化搜索引擎。第八届ACM SIGKDD知识发现和数据挖掘国际会议论文集(第133-142页)。ACM公司。
[26] Kamishima,T.(2003)。南通纳克协同过滤:基于订单响应的推荐。第九届ACM SIGKDD知识发现和数据挖掘国际会议论文集(第583-588页)。ACM公司。
[27] Kendall,MG,等级相关方法(1948),纽约市:格里芬,纽约市·Zbl 0032.17602号
[28] Khan,M.E.、Ko,Y.J.和Seeger,M.(2014)。可扩展的协作贝叶斯偏好学习。在:S.Kaski和J.Corander(编辑),第十七届人工智能和统计国际会议论文集,PMLR,冰岛雷克雅未克,机器学习研究论文集(第33卷,第475-483页)。2020年1月17日检索自http://proceedings.mlr.press/v33/khan14。
[29] Kim,Y.、Kim,W.和Shim,K.(2014)。使用两两比较进行潜在排名分析。2014年IEEE数据挖掘国际会议(ICDM),IEEE(第869-874页)。2020年1月17日检索自https://ieeexplore.ieee.org/abstract/document/7023415。
[30] 哥伦比亚特区金斯利;Brown,TC,偏好不确定性、偏好细化和配对比较实验,《土地经济学》,86,3,530-544(2010)
[31] Kiritchenko,S.和Mohammad,S.(2017年)。最佳-最差量表比评级量表更可靠:情绪强度注释的案例研究。计算语言学协会第55届年会论文集(第2卷:短文,第465-470页)。加拿大温哥华:计算语言学协会。10.18653/v1/P17-2074。
[32] Koren,Y。;贝尔·R。;Volinsky,C.,推荐系统的矩阵分解技术,计算机,42,8,30-37(2009)
[33] Lawrence,N.D.和Urtasun,R.(2009年)。高斯过程的非线性矩阵分解。第26届机器学习国际会议论文集(第601-608页)。ACM公司。
[34] 李,SM;Roberts,SJ,使用潜在变量模型的顺序动态分类,《计算机杂志》,53,9,1415-1429(2010)
[35] Li,J.、Mantiuk,R.、Wang,J.,Ling,S.和Le Callet,P.(2018年)。Hybrid-MST:一种用于两两偏好聚合的混合主动采样策略。《神经信息处理系统进展》(第3475-3485页)。2020年1月17日检索自https://papers.nips.cc/paper/7607-hybrid-mst-a-hybrid-active-sampling-strategy-for-pairwise-preference-aggregation。
[36] Lowne,D。;罗伯茨,SJ;Garnett,R.,带稀疏反馈的顺序非平稳动态分类,模式识别,43,3,897-905(2010)·Zbl 1187.68477号
[37] 卢斯,RD,《论可能的心理物理规律》,《心理评论》,66,2,81(1959)
[38] Lukin,S.、Anand,P.、Walker,M.和Whittaker,S.(2017)。争论的力量在旁观者眼中:说服中的受众效应。计算语言学协会欧洲分会第十五届会议记录(第742-753页)。
[39] MacKay,DJ,《概率网络和似然预测——监督神经网络实用贝叶斯方法综述》,《网络:神经系统中的计算》,6,3,469-505(1995)·Zbl 0834.68098号
[40] Mikolov,T.、Sutskever,I.、Chen,K.、Corrado,G.S.和Dean,J.(2013)。单词和短语的分布式表示及其组成。《神经信息处理系统进展》(第3111-3119页)。2020年1月17日检索自https://papers.nips.cc/paper/5021-单词和短语及其组合的分布式表示。
[41] Minka,T.P.(2001)。近似贝叶斯推理的期望传播。第十七届人工智能不确定性会议论文集(第362-369页)。arXiv:1301.2294。
[42] Mo,K.,Zhong,E.,&Yang,Q.(2013)。跨任务众包。第19届ACM SIGKDD知识发现和数据挖掘国际会议论文集(第677-685页)。ACM公司。
[43] Mosteller,F.,关于配对比较方法的评论:I.假设标准偏差和相关性相等的最小二乘解,《心理测量学》,16,3-9(1951)
[44] Naish-Guzman,A.和Holden,S.(2008)。广义FITC近似。J.C.Platt、D.Koller、Y.Singer和S.T.Roweis(编辑),《神经信息处理系统的进展》20(第1057-1064页)。Curran Associates公司。
[45] Nguyen,T.V.和Bonilla,E.V.(2014)。协作多输出高斯过程。《第三十届人工智能不确定性会议论文集》(第643-652页)。AUAI出版社。
[46] Nickisch,H。;Rasmussen,CE,二元高斯过程分类的近似,机器学习研究杂志,92035-278(2008)·Zbl 1225.62087号
[47] Ovadia,S.,《评级和排名:重新考虑价值观的结构及其衡量标准》,《国际社会研究方法杂志》,第7期,第5期,第403-414页(2004年)
[48] 潘,Y。;Han,B。;Tsang,IW,针对噪音k元偏好的分段学习,机器学习,107,8-10,1333-1361(2018)·Zbl 1473.62077号
[49] Plackett,RL,排列分析,应用统计学,24193-202(1975)
[50] Porteous,I.、Asuncion,A.和Welling,M.(2010年)。带有边信息和Dirichlet过程混合的贝叶斯矩阵分解。第二十四届AAAI人工智能会议记录(第563-568页)。AAAI出版社。
[51] 补骨脂,I。;罗伯茨,S。;埃布登,M。;Sheldon,B.,《使用贝叶斯非负矩阵分解进行重叠社区检测》,《物理评论》E,83,6,066114(2011)
[52] 拉斯穆森,CE;Williams,CKI,机器学习的高斯过程,715-719(2006),剑桥:麻省理工学院出版社,剑桥·Zbl 1177.68165号
[53] Reece,S.、Roberts,S.,Nicholson,D.和Lloyd,C.(2011年)。使用硬/软数据和高斯过程分类器确定意图。第14届信息融合国际会议记录(第1-8页)。电气与电子工程师协会。
[54] 雷斯尼克,P。;瓦里安,人力资源,推荐系统,ACM通信,40,3,56-58(1997)
[55] Saha,A.、Misra,R.和Ravindran,B.(2015)。可缩放贝叶斯矩阵分解。第六届国际采矿与社会环境会议论文集(第1521卷,第43-54页)。2020年1月17日检索自http://ceur-ws.org/Vol-1521/paper6.pdf。
[56] Salakhutdinov,R.和Mnih,A.(2008)。使用马尔可夫链蒙特卡罗的贝叶斯概率矩阵分解。第25届机器学习国际会议论文集(第880-887页)。ACM公司。
[57] Salimans,T.、Paquet,U.和Graepel,T.(2012)。合作学习偏好排名。第六届ACM推荐系统会议记录(第261-264页)。ACM公司。
[58] Simpson,E.、Reece,S.和Roberts,S.J.(2017年)。贝叶斯热图:具有多个不可靠信息源的概率分类。在关于数据库中的机器学习和知识发现的欧洲联合会议上(第109-125页)。斯普林格。
[59] 辛普森,E。;Gurevych,I.,《使用可扩展贝叶斯偏好学习寻找令人信服的论据》,计算语言学协会学报,6357-371(2018)
[60] Snelson,E.和Ghahramani,Z.(2006年)。使用伪输入的稀疏高斯过程。《神经信息处理系统进展》(第1257-1264页)。2020年1月17日检索自https://papers.nips.cc/paper/2857-spare-gaussian-processes-using-pseudo-inputs(使用伪输入)。
[61] 斯诺,R。;奥康纳,B。;Jurafsky,D。;嗯,A,便宜又快——但它好吗?评估自然语言任务的非专业注释,《2008年自然语言处理实证方法会议论文集》,254-263(2016),夏威夷檀香山:计算语言学协会,夏威夷檀香
[62] Steinberg,D.M.和Bonilla,E.V.(2014)。扩展和无迹高斯过程。《神经信息处理系统进展》(第1251-1259页)。2020年1月17日检索自https://papers.nips.cc/paper/5455-extended-and-uncented-gaussian-processes。
[63] Thurstone,LL,《比较判断法》,《心理学评论》,第34、4、273页(1927年)
[64] Uchida,S.、Yamamoto,T.、Kato,M.P.、Ohsima,H.和Tanaka,K.(2017)。通过学习和从用户评论中推断两两偏好来对实体进行排名。亚洲信息检索研讨会(第141-153页)。斯普林格。
[65] Vander Aa,T。;查克罗恩,I。;Haber,T.,分布式贝叶斯概率矩阵分解,Procedia计算机科学,1081030-1039(2017)
[66] Volkovs,M.、Yu,G.和Poutanen,T.(2017年)。辍学:解决推荐系统中的冷启动问题。在I.Guyon、U.V.Luxburg、S.Bengio、H.Wallach、R.Fergus、S.Vishwanathan和R.Garnett(编辑)的《神经信息处理系统的进展》30(第4957-4966页)中。Curran Associates公司。
[67] Wang,X.,Wang,J.,Jie,L.,Zhai,C.,&Chang,Y.(2016)。盲人和大象:瑟斯顿人对众包排名的成对偏好。2016年IEEE第16届数据挖掘国际会议(ICDM)(第509-518页)。电气与电子工程师协会。
[68] 杨,YH;Chen,HH,基于排名的音乐组织和检索情感识别,IEEE音频、语音和语言处理汇刊,19,4,762-774(2011)
[69] Yannakakis,G.N.和Hallam,J.(2011年)。排名与偏好:自我报告的比较研究。在情感计算和智能交互国际会议上(第437-446页)。斯普林格。
[70] Yi,J.、Jin,R.、Jain,S.和Jain,A.(2013年)。从众包成对比较推断用户偏好:矩阵补全法。在第一届AAAI人类计算和众包会议上。2020年1月17日检索自https://www.aaai.org/ocs/index.php/HCOMP/HCOMP13/paper/view/7536。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。