×

《百万富翁》:一种以提示为导向的众包方法。 (英语) Zbl 1493.68301号

摘要:现代机器学习正在向复杂模型时代迁移,这需要大量注释良好的数据。虽然众包是实现这一目标的一个很有希望的工具,但现有的众包方法几乎无法获得足够数量的高质量标签。本文以《百万富翁》游戏节目中的“猜猜看”回答策略为动机,将提示引导方法引入众包,以应对这一挑战。我们的方法鼓励员工在不确定问题时从提示中获得帮助。具体来说,我们提出了一种混合阶段设置,包括主阶段和提示阶段。当工人在主舞台上遇到任何不确定的问题时,他们可以进入提示阶段,在做出任何回答之前查阅提示。开发了一种独特的支付机制,满足众包的两个重要设计原则。此外,拟议的机制进一步鼓励高素质员工减少使用暗示,这有助于识别并分配更多可能的报酬给他们。在Amazon Mechanical Turk上进行了实验,结果表明,我们的方法确保了足够数量的高质量标签,且费用低廉,并检测到高质量的工人。

MSC公司:

68T05型 人工智能中的学习和自适应系统
91年35日 博弈决策理论
91A80型 博弈论的应用
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Bi,W.,Wang,L.,Kwok,J.,&Tu,Z.(2014)。学习从众包数据中进行预测。在人工智能不确定性会议上(第82-91页)。
[2] Bojarski,M.、Del Testa,D.、Dworakowski,D.、Firner,B.、Flepp,B.、Goyal,P.等人(2016年)。自动驾驶汽车的端到端学习。arXiv预打印arXiv:1604.07316。
[3] Buhrmester,M。;Kwang,T。;Gosling,S.,Amazon的Mechanical Turk是廉价但高质量数据的新来源?,心理科学展望,6,1,3-5(2011)·doi:10.1177/1745691610393980
[4] Chen,X.、Lin,Q.和Zhou,D.(2013)。众包中最优预算分配的乐观知识梯度策略。在机器学习国际会议上(第64-72页)。
[5] 陈,Y。;Chong,S。;卡什,I。;莫兰,T。;Vadhan,S.,《重视隐私的代理人的真实机制》,《ACM经济学与计算交易》,2016年第4期、第3期、第13期·doi:10.1145/2892555
[6] Difallah,D.、Demartini,G.和Cudré-Mauroux,P.(2012)。机械欺骗:在众包平台上的垃圾邮件计划和对抗技术。《群组搜索》(第26-30页)。
[7] 丁,Yx;Zhou,Zh,《不确定选项的众包》,机器学习,107,749-766(2017)·Zbl 1460.91060号 ·doi:10.1007/s10994-017-5677-x
[8] Fan,J.、Li,G.、Ooi,B.、Tan,K.和Feng,J.(2015)。iCrowd:一个适应性众包框架。在ACM数据管理特别兴趣小组(第1015-1030页)。
[9] Goel,G.、Nikzad,A.和Singla,A.(2014年)。异构任务众包市场机制设计。在AAAI关于人类计算和众包的会议上。
[10] Han,B。;潘,Y。;Tsang,I.,k元众包偏好的稳健Plackett-Luce模型,机器学习,107,675-702(2017)·Zbl 1466.91101号 ·doi:10.1007/s10994-017-5674-0
[11] Han,B.,Tsang,I.,&Chen,L.(2016)。随机梯度下降鲁棒损失族的收敛性。在关于数据库中的机器学习和知识发现的欧洲联合会议上(第665-680页)。斯普林格。
[12] 辛顿,G。;邓,L。;Yu,D。;Dahl,G。;Mohamed,A。;Jaitly,N.,《语音识别中声学建模的深度神经网络:四个研究小组的共同观点》,IEEE Signal Processing Magazine,29,6,82-97(2012)·doi:10.1109/MSP.2012.2205597
[13] Ho,C.、Slivkins,A.、Suri,S.和Vaughan,J.(2015)。鼓励高质量的众包工作。见万维网(第419-429页)。
[14] Hu,H.,Zheng,Y.,Bao,Z.,Li,G.,Feng,J.,&Cheng,R.(2016)。众包POI标记:位置软件结果推断和任务分配。在国际数据工程会议上(第61-72页)。
[15] Ipeirotis,P.、Provost,F.和Wang,J.(2010年)。亚马逊土耳其机械公司的质量管理。在ACM SIGKDD知识发现和数据挖掘研讨会会议上(第64-67页)。
[16] Joglekar,M.、Garcia-Molina,H.和Parameswaran,A.(2013年)。自信地评估人群。在ACM SIGKDD知识发现和数据挖掘国际会议上(第686-694页)。
[17] Kajino,H。;Y.Tsuboi。;鹿岛,H.,《从人群中学习的凸公式》,《日本人工智能学会学报》,第27期,第3期,第133-142页(2012年)·doi:10.1527/tjsai.27.133
[18] Karger,D.、Oh,S.和Shah,D.(2011年)。可靠众包系统的迭代学习。《神经信息处理系统的进展》(第1953-1961页)。
[19] 柯丁格,K。;Aleven,V.,《探索认知导师实验中的援助困境》,《教育心理学评论》,第19、3、239-264页(2007年)·doi:10.1007/s10648-007-9049-0
[20] 兰伯特,N。;Langford,J。;沃恩,J。;陈,Y。;李维斯,D。;Shoham,Y.,《赌博机制的公理化描述》,《经济理论杂志》,156389-416(2015)·Zbl 1314.91122号 ·doi:10.1016/j.jet.2014.03.012
[21] Li,G.、Chai,C.、Fan,J.、翁,X.、Li,J.和Zheng,Y.等人(2017a)。CDB:使用基于群组的选择和联接优化查询。在ACM SIGMOD国际数据管理会议上(第1463-1478页)。
[22] 李·G。;Wang,J。;郑毅。;Mj Franklin,众包数据管理:调查,IEEE知识与数据工程汇刊,28,9,2296-2319(2016)·doi:10.1109/TKDE.2016.2535242
[23] Li,G.,Zheng,Y.,Fan,J.,Wang,J.和Cheng,R.(2017b)。众包数据管理:概述和挑战。在ACM SIGMOD关于数据管理的国际会议上(第1711-1716页)。
[24] 利特曼,L。;罗宾逊,J。;Rosenzweig,C.,《基于机械土耳其的美国和印度工人的动机、货币报酬和数据质量之间的关系》,《行为研究方法》,47,2,519-528(2015)·doi:10.3758/s13428-014-0483-x
[25] Liu,Q.、Peng,J.和Ihler,A.(2012)。众包的变分推理。《神经信息处理系统进展》(第692-700页)。
[26] Natarajan,N.、Dhillon,I.、Ravikumar,P.和Tewari,A.(2013)。用嘈杂的标签学习。《神经信息处理系统进展》(第1196-1204页)·兹比尔1467.68151
[27] 尼桑,N。;拉夫加登,T。;塔尔多斯,E。;Vazirani,V.,算法博弈论(2007),剑桥:剑桥大学出版社,剑桥·兹比尔1130.91005 ·doi:10.1017/CBO9780511800481
[28] Patrini,G.、Rozza,A.、Menon,A.、Nock,R.和Qu,L.(2017年)。使深层神经网络对标签噪声鲁棒:一种损失校正方法。在IEEE计算机视觉和模式识别会议上。
[29] Pennock,D.、Syrgkanis,V.和Vaughan,J.(2016)。赌博机制中的有限理性。在人工智能不确定性会议上。
[30] 雷卡尔,V。;Yu,S.,为众包标签任务消除垃圾邮件发送者和排名注释者,机器学习研究杂志,13491-518(2012)·Zbl 1283.68300号
[31] 雷卡尔,V。;于斯。;赵,L。;瓦拉德斯,G。;弗洛林,C。;Bogoni,L.,《从人群中学习》,《机器学习研究杂志》,11,1297-1322(2010)
[32] 罗德里格斯,F。;佩雷拉,F。;Ribeiro,B.,多注释器序列标记,机器学习,95,2,165-181(2014)·兹比尔132062149 ·doi:10.1007/s10994-013-5411-2
[33] 俄勒冈州Russakovsky。;邓,J。;苏,H。;克劳斯,J。;Satheesh,S。;Ma,S.,Imagenet大规模视觉识别挑战,国际计算机视觉杂志,115,3,211-252(2015)·doi:10.1007/s11263-015-0816-y
[34] Shah,N.和Zhou,D.(2015)。双重或全无:众包的倍增激励机制。《神经信息处理系统进展》(第1-9页)·Zbl 1392.68364号
[35] Shah,N.和Zhou,D.(2016)。不,哎呀,你不会再这样做了:众包中的自我纠正机制。在机器学习国际会议上。
[36] Silver博士。;黄,A。;麦迪森,C。;A.盖兹。;Sifre,L。;Van Den Driessche,G.,《用深度神经网络和树搜索掌握围棋游戏》,《自然》,529,7587,484-489(2016)·doi:10.1038/nature16961
[37] Singla,A.和Krause,A.(2013)。使用后悔最小化机制的众包任务中的真实激励。《万维网》(第1167-1178页)。
[38] Singla,A.、Santoni,M.、Bartók,G.、Mukerji,P.、Meenen,M.和Krause,A.(2015)。鼓励用户平衡自行车共享系统。人工智能进步协会(第723-729页)。
[39] Smith,J.,《定性心理学:研究方法的实用指南》(2007年),《千橡树:圣人》
[40] Sordoni,A.、Galley,M.、Auli,M.,Brockett,C.、Ji,Y.、Mitchell,M.等人(2015)。一种神经网络方法,用于生成上下文敏感的会话响应。在计算语言学协会会议上(第196-205页)。
[41] Sukhbaatar,S.、Bruna,J.、Paluri,M.、Bourdev,L.和Fergus,R.(2015)。训练带有噪声标签的卷积网络。在国际学习代表研讨会上。
[42] Tian,T.和Zhu,J.(2015)。马克斯·马金(Max-Maring)多数投票支持向群众学习。《神经信息处理系统进展》(第1621-1629页)。
[43] Vuurens,J.、Vries,A.和Eickhoff,C.(2011年)。你能接受多少垃圾邮件?分析众包结果以提高准确性。ACM信息检索专题小组研讨会(第21-26页)。
[44] Wais,P.、Lingamneni,S.、Cook,D.、Fennell,J.、Goldenberg,B.、Lubarov,D.、Marin,D.和Simons,H.(2010)。与Mechanical Turk.In Advances In neural information processing systems workshop携手打造高素质员工队伍。
[45] Wang,L.和Zhou,ZH。(2016). 众包学习的成本节约效应。在国际人工智能联合会议上(第2111-2117页)。
[46] Wang,W.,Guo,X.Y.,Li,S.Y.,Jiang,Y.,&Zhou,ZH。(2017年)。通过区分众包中的简单项目和困难项目,获得高质量的标签。在国际人工智能联合会议上(第2964-2970页)。
[47] Yan,Y。;罗莎莱斯,R。;Fung,G。;Dy,J.,从人群中主动学习,机器学习国际会议,11,1161-1168(2011)
[48] Yan,Y.、Rosales,R.、Fung,G.、Schmidt,M.、Hermosillo,G.,Moy,L.和Dy,J.(2010)。建模注释器专业知识:当每个人都知道一些东西时学习。在人工智能和统计国际会议上(第932-939页)。
[49] Yan,Y。;罗莎莱斯,R。;Fung,G。;苏布拉曼尼亚,R。;Dy,J.,《向具有不同专业知识的多个注释器学习》,机器学习,95,3,291-327(2014)·兹比尔1320.68153 ·doi:10.1007/s10994-013-5412-1
[50] Yu,X.、Liu,T.、Gong,M.和Tao,D.(2017a)。用有偏见的互补标签学习。arXiv预印arXiv:1711.09535。
[51] Yu,X.,Liu,T.,Gong,M.,Zhang,K.,&Tao,D.(2017b)。利用标签噪声转移学习。arXiv预打印arXiv:1707.09724。
[52] 张杰。;吴,Xd;Sheng,V.,《从众包标记数据中学习:一项调查》,《人工智能评论》,46,4,543-576(2016)·doi:10.1007/s10462-016-9491-9
[53] Zhang,Y。;陈,X。;周,D。;Jordan,M.,Spectral methods meet EM:一种可证明的众包最优算法,《机器学习研究杂志》,17102,1-44(2016)·Zbl 1367.68241号
[54] Zheng,Y.、Cheng,R.、Maniu,S.和Mo,L.(2015a)。众包中陪审团选择的最优化。在关于扩展数据库技术的国际会议上。
[55] 郑毅。;李·G。;Cheng,R.,Docs:使用知识库的域软件众包系统,超大数据库捐赠,10,4,361-372(2016)
[56] 郑毅。;李·G。;李毅。;Shan,C。;Cheng,R.,众包中的真理推理:问题解决了吗?,超大数据库捐赠,10,5,541-552(2017)
[57] Zheng,Y.,Wang,J.,Li,G.,Cheng,R.,&Feng,J..(2015b)。QASCA:面向众包应用程序的质量感知任务分配系统。ACM数据管理特别利益小组(第1031-1046页)。
[58] Zhong,J.H.,Tang,K.和Zhou,Z.H(2015)。积极向选择不确定的人群学习。在国际人工智能联合会议上(第1061-1068页)。
[59] Zhou,D.、Basu,S.、Mao,Y.和Platt,J.(2012)。通过极大极小熵学习人群的智慧。《神经信息处理系统进展》(第2195-2203页)。
[60] Zhou,D.、Liu,Q.、Platt,J.和Meek,C.(2014)。用极大极小条件熵从人群中聚合序数标签。在机器学习国际会议上(第262-270页)。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。